GVSDS/TransPyC
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
276 Commits 1 Branch 0 Tags
cb8eef33163e75ffa2cf4dc65a756b7e52a46d0b
Commit Graph
23 Commits
Author SHA1 Message Date
TermiNexus 50ca560563 fix(tpc): list 联合类型方法分派保护 + str 压平条件收紧 + external global 裸名兼容 
- HandlesAssign: 变量已有同 base 声明类型时不再覆盖 var_struct_class（sha1 前缀特化名覆盖裸名，导致 dbody.get 查表 miss 后 fallback 到 list[int].get，i32 返回值被截断成垃圾指针崩溃——TPC 侧根治）
- HandlesExprCall: IdentifiedStructType 真值判断改 is None（opaque 时 bool() 触发 __len__ assert）
- HandlesFunctions/HandlesImports: IsStr 压平条件加 PtrCount<=1，str|t.CPtr(i8**) 不压平；external global 正则兼容裸名格式
 2026-08-24 23:31:08 +08:00
TermiNexus c62153a685 perf(tpc): import 热路径优化——walk 结果缓存 + DebugPrint 参数惰性化 
- import 兜底查找（_EmitModuleDeclarationsLlvm）每次解析失败都 os.walk 递归扫描 includes/工程目录，且多级模块名与 basename 永不匹配纯浪费：改为多级跳过 + 目录 walk 结果类级缓存（编译进程内目录不变）
- DebugPrint 调用点（HandlesTypeMerge 类型查询热路径）无条件构造 f-string 参数（含昂贵的 ast.dump），即使 DebugFile 未设置也执行：改为 getattr(DebugFile) 防护后才构造（单文件 profile：_io.open 1253 次 1.76s + DebugPrint cum 2.24s）
 2026-08-22 06:05:43 +08:00
TermiNexus 56a4b5c818 fix(tpc): stub 加载器解析全局变量声明——跨模块全局变量不再静默丢失 
- 根因：_LoadDeclarationsFromStubLlvm 只解析 struct/declare，忽略全局变量声明行，TPC 编译 TPV 时跨模块全局变量（StubMerger._sha1_store_count 等）从未嵌入 Gen.module.globals
- 后果：_lookup_module_global 恒 None -> return 静默跳过 ret（HandlesReturn 的 if Val 分支）、跨模块赋值静默丢失
- 修复：逐行循环加分支解析 16hex 前缀的 external global 声明（剥离 zeroinitializer 与 align 尾部修饰），用 _parse_llvm_type 解析类型后嵌入 external GlobalVariable；.str. 内部常量与 @main 等非 16hex 前缀跳过
- 诊断脚本验证 4 种真实 stub.ll 格式（struct 指针/数组/zeroinitializer/vtable 结构体）全部解析成功
 2026-08-22 04:21:04 +08:00
TermiNexus 3117ab3dec fix(tpc): import fail-fast 判据误报修复——文件系统找不到不等于模块不存在 
- TPV 自举工程 includes 为合并形态，源码模块（lib.Stub.StubMerger 包）不提供裸 .vp 文件，声明由 ModuleSha1Map 定位 sha1 -> temp/*.stub.ll 加载（_LoadDeclarationsFromStubLlvm，与 FullModulePath 无关）
- 原判据只看 FullModulePath 文件系统存在性 -> TPV 构建所有 import 误报 ImportError
- 改为：文件系统找不到时查 _source_module_sig_files / Gen.ModuleSha1Map（TPV 工程由 Phase2Translator._ModuleSha1Map 同步而来），模块有 sha1 注册即视为可解析
- 单文件编译两表皆空，NegativeTest 假 import 用例仍 fail-fast
 2026-08-22 04:04:30 +08:00
TermiNexus 0ce4a4d073 fix(tpc): import 路径/隐式转换/缺失 return 三项漏检 fail-fast 
- HandlesImports: 模块在所有来源找不到时 raise ImportError（原静默容忍导致跨模块 mangled fallback，链接期才暴露 undefined symbol）
- LlvmGenerator: import 处理 ImportError 直接重抛，不被 _ErrorStack 吞掉
- FuncGen: 指针→整数、浮点→整数隐式转换改 raise TypeError（显式 cast 仍允许，符合隐式转换规则）
- HandlesFunctions: 有非 void 返回注解但函数体掉出末尾 raise Exception（-> None / -> t.CVoid 视为 Void 仍合法）
- 新增 Test/NegativeTest 反向测试专项：9 个漏检用例，当前 9 PASS / 0 FAIL
 2026-08-22 03:57:19 +08:00
TermiNexus fbd132284b perf(phase2): 按 PROF 热点优化编译耗时 
- HandlesImports: _TryLoadClassMembersFromPyi 复用 _pyi_cache 跳过重复 isfile（-12.8s）；_LookupStubFuncType 类级缓存 + 签名增量扫描新增 stub，去掉每文件 isfile（-6.5s+）
- Phase2Translator: pyi cache 仅主进程构建（worker 只读 pkl，-23s+pickle 10.4s）；include 源文件 sha1/存在性缓存消除 _build_current_ModuleSha1Map 重复磁盘 I/O
- StructGen.finalize: 行过滤改 startswith(tuple) 预计算，消除 O(lines×structs×patterns) 嵌套循环（tottime 84.8s → 预期数秒）
- 附带 fail-fast（任意文件出错立即终止）+ 子进程 PROF 硬编码
 2026-08-19 00:28:40 +08:00
TermiNexus bdc5ec3e88 fix(HandlesImports): 跨模块展平父类无条件 force 重载，消除并行 worker 布局不确定 
并行 worker 中 class_members[Generator] 曾出现 83/85/88/89/105/106 vs 114
的不确定变体：父类在某次展平时祖先未加载完成即被冻结为部分成员，guard
（成员非空即跳过）又阻止重载 → this_adjust 按不完整 members 计算字节偏移
→ 继承方法 self 错位 → 运行时越界崩溃（FuncTest is_exception_name strcmp，
错位 68 字节）。

修复：
- 父类加载循环无条件 force 重载：_TryLoadClassMembersFromPyi(force=True)
  先清空该类 class_members/defaults/signeds/bitfields/byteorders/bitoffsets
  再重建，字段顺序与定义模块 stub 一致；对其祖先递归同样强制重载，
  最终所有 worker 展平结果确定性一致。
- 已加载父类经 class_sha1_map 直连定义模块 sha1 强制重载（O(1)），
  避免对每个父类全量扫描 ModuleSha1Map。
- _TryLoadClassMembersFromPyi 返回 bool（找到即停），移除 [DIAG-EXT] 诊断。
 2026-08-18 14:38:06 +08:00
TermiNexus 858aba46d0 fix(HandlesImports): _seen_flat_cls 移到父类循环外，菱形去重真正生效 
b021c5b 的递归展平把 _seen_flat_cls 定义在 for _ParentClass 循环内，每个父类新建 seen → 菱形祖先(ClassGenBase)被每个继承它的 ClassGen* 父类各展平一次 → Generator class_members 707 字段(与 struct 114 不一致) → this_adjust sub_off 索引越界 → 继承方法不调整 → register_reexport 写 0x3f 崩溃。运行时诊断确认(707→114)，register_reexport 调用生成正确 this_adjust(GEP +776)。已移除全部临时诊断。
 2026-08-18 14:04:33 +08:00
TermiNexus b021c5b527 fix(HandlesImports): 跨模块 class_members 展平同步按继承源去重 
81ad712 只同步了 HandlesClassDef(运行时) 与 DeclarationGenerator(stub struct)，遗漏并行 worker 跨模块重建路径 _EmitExternalClassDeclLlvm：仍用旧拼接+按字段名过滤算法，菱形继承下与 stub struct 布局不一致，worker 中 this_adjust 算不出偏移，继承方法 self 不调整，运行时错位崩溃(register_reexport 写 0x3f)。改为递归按继承源去重，与 HandlesClassDef._FlattenInherited 一致。
 2026-08-18 13:44:22 +08:00
TermiNexus 7917be0fa1 perf(handles): stub 索引增量重建 + vtable on-demand pyi 缓存类级化，消除 worker 重复解析 
- HandlesImports._build_stub_index：以已扫描文件集合替代文件数签名，无新增文件时仅一次集合比较；新增文件只增量解析，消除每编译完一个文件即全量重扫（prof 847 次全量重建 61s）
- HandlesImports._TryLoadStructFromStub：索引命中直接返回，仅在 miss 时才触发增量扫描
- HandlesExprCall._try_register_vtable_ondemand：函数局部 pyi_cache 提升为类级 _vtable_pyi_cache / _vtable_methods_cache，437 次 open+ast.parse 同批 pyi 降为每 pyi 一次（prof 38.5s）
 2026-08-18 05:27:53 +08:00
TermiNexus 68d180e718 perf(handles): 跨模块类声明分类/节点查找缓存，去重 _EmitExternalClassDeclLlvm 
新增类级 _extern_class_classify_cache（(sha1,class)->分类元组）与
_extern_class_decl_cache（(sha1,class)->pyi ClassDef 节点）：bases/
decorator 分类遍历提取为 _ClassifyExternalClass 纯函数并缓存，
_TryLoadClassMembersFromPyi 节点查找改走索引避免跨任务重复线性扫描
pyi_tree.body（8214 次调用热点之一）。Gen 依赖部分（字段/方法/struct
注册）保持每 Gen 执行，不做整体跳过。
 2026-08-17 23:27:44 +08:00
TermiNexus e5af28fa93 fix(imports): NoneType 异常静默 + struct_body 判空，减少 WARN 干扰输出 
编译大量输出 "HandlesImports: 忽略异常 'NoneType' object has no attribute 'endswith'"：注解/类型解析回退路径对 None 参与运算（数据缺失属正常兜底）——每文件每符号都打 WARN 淹没关键信息。

- 783/1166/1264 三处 except：AttributeError+NoneType 时静默不 WARN，其他异常保留
- 两处 is_packed 判断补 struct_body is not None 防护（源头防 None.startswith/endswith）
 2026-08-17 20:07:35 +08:00
TermiNexus 6fc9e19e24 feat(vast): 新增自研 Viper/Python 语法解析器取代标准库 ast 
TPC 侧取缔对 Python 标准库 ast 模块的依赖，改用 lib/vast 包：
- Nodes: 与 CPython 3.12 ast 完全同构的 131 个节点类(含抽象基类继承)
- Tokenizer: 词法分析(缩进/字符串/f-string/数字/运算符/软关键字)
- ExprParser: 表达式递归下降解析(优先级/lambda/推导式/f-string/切片)
- Parser: 语句解析(def/class/if/for/try/with/match/import/注解)
- Utils/Unparser: walk/dump/unparse/copy_location/literal_eval 等辅助
- 软关键字 fn/fun/func/function 并入解析器, 废除 ExpandSoftKeywords 预处理
- lib/_bootstrap 将 lib 目录加入 sys.path, import vast as ast 零修改替换
- 52 个文件 import ast 替换为 import vast as ast; 94 文件差分测试 0 失败
 2026-08-17 09:36:38 +08:00
TermiNexus 2f0b741d55 fix(gen): TPC 治本——struct opaque 具化、多返回值 fail-fast、with MRO 修复 
1. HandlesExprCall: vtable 分派前 _EnsureReceiverStructConcrete 主动具化 struct
   body（stub + class_members 双路径），消除元数据已注册、本体仍 opaque 的
   撕裂状态，失败即 fail-fast 暴露上游 stub 加载时序问题；
2. HandlesImports: stub 加载后仍 opaque 时不保留成功缓存（可重试），
   避免 opaque 状态被固化导致 vtable 分派 GEP 崩溃；
3. HandlesAssign: 跨模块多返回值 CReturnTypes 恢复（LiteralStructType 回退）
   + 解析失败 fail-fast，不再静默跳过致目标变量未初始化触发堆损坏；
4. HandlesWith: MRO 继承方法解析跳过无函数体的 stub declare（Phase1 继承
   包装声明），bitcast 目标改用函数签名参数类型避免 opaque 占位对象。
 2026-08-13 07:51:27 +08:00
TermiNexus 2129430446 fix(TPC): 跨模块多继承布局统一 - 字段整体前置/方法表合并/父类防重复 
1. 定义模块多继承字段展平 prepend(反序) 改 append(正序)，与 DeclarationGenerator stub 一致，修复 ASan 定位的 Generator 字段运行时错位(0xbe)。2. 跨模块加载 class_members 已含子类自身字段，父类字段必须整体前置(prepend)，否则 Value.Next 命中 FloatVal(double) 导致 store 类型错乱。3. 跨模块补充与定义模块一致的方法合并(父类槽位前置、子类覆盖放父类位置)，修复 vtable 槽错位(MemBuddy.alloc→_fl_find_and_remove)。4. 父类前置按字段名过滤已存在字段，防 _EmitExternalClassDeclLlvm 多加载路径重复调用导致 class_members 重复(BasicBlock:[Next,Next,...])。
 2026-08-10 18:08:58 +08:00
TermiNexus 87b9dec1ef feat(core): TPC 多继承同步 M5 - MRO 查找/字段展平/vtable合并/this调整 
BaseGen: 新增 class_parents + _get_mro_chain(与 TPV 语义一致: 深度优先
+声明顺序+去重) 与 _get_parent_classes 兼容旧单链
HandlesClassDef: 停用 is_base_of_any 自动 vtable; 多父字段展平去重;
方法合并用定义类名; vtable 槽沿 MRO 取定义类
HandlesExprCall: 方法调用沿 MRO 回退 + stub(无函数体)判定修复
undefined reference; 继承方法 this 调整(GEP+bitcast 成父类指针)
HandlesExprUtils/HandlesImports/HandlesWith/StructGen: MRO 查找同步
 2026-08-10 00:29:05 +08:00
TermiNexus 0a10b20dde 修正了逻辑，使 TPV 能够正常编译 2026-08-03 02:00:49 +08:00
TermiNexus cfc30d735c 将 .py 和 .pyi 后缀名改为了 .vp 和 .vpi 后缀名 2026-07-30 16:33:56 +08:00
TermiNexus 3633be1995 Some simple information syncing 2026-07-28 21:08:58 +08:00
TermiNexus 1837339f69 修正了一些错误 2026-07-26 20:32:26 +08:00
TermiNexus ca7c2120b8 修正了种子编译器的错误 2026-07-22 21:55:36 +08:00
TermiNexus 4e66207ba1 重置上传，新增了多个标准库，开始 TransPyV 自举实验 2026-07-19 11:38:15 +08:00
t 796222a300 snapshot before regression test 2026-07-18 19:25:40 +08:00