GVSDS/TransPyC
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
348 Commits 1 Branch 0 Tags
c49dc1d91549257ee8b019cf2086190890b0c646
Commit Graph
34 Commits
Author SHA1 Message Date
TermiNexus c49dc1d915 fix(tpc): 类型静默降级改 fail-fast + 成员槽写入失败附来源明细 
a 编译器缺陷：类型信息缺失时静默兜底会掩盖上游根因，兜出来的"看着合理"的类型
（如 i8**）又会让下游报出与真因无关的错。按既定铁律改为响亮失败：

1) HandlesImports._parse_llvm_type：被指类型是具名聚合（%...）却在
   create_structs=True 下取不到结构体时，原静默 `return PointerType(i8)` ——
   结构体指针被悄悄变成通用指针，外层再套一层即成 i8**。改 fail-fast。
   （create_structs=False 属"尚未加载"，非异常，保持原样。）

2) HandlesTypeMerge._HandleSubscript：新增判据自洽守卫 —— base 是指针标记
   （rawptr / t.CPtr / 裸名 CPtr / 别名）而 IsPtrSubscriptNode 未命中时，
   历史上会落到 CollectAll 当"数组下标"解析、静默产出「基座 void + 多层指针」
   （i8**）。现 fail-fast（判据分裂即内部不变量被破坏）。

3) HandlesAssign._HandleAttributeStoreLlvm（`self.字段 = 值`）：成员槽写入失败
   时追加「成员槽来源」明细 —— class_members 声明侧（项数/base/下标/声明槽类型）
   + 布局侧（struct IR 名/元素数/elements[offset]）+ structs 键数与是否同一对象，
   使"声明侧退化"与"布局侧退化"一眼可分，杜绝再靠猜。

现场：TransPyV/App/lib/core/Gen/Generator.vp:193 `self.ExprGenConst = SubExprGenConst`
  → 指针隐式转换已禁止（层数不同）：不能把指针类型
    %"cfd1f3d0d7e87fea.ExprGenConst"* 隐式转为 i8**
 2026-09-28 23:59:29 +08:00
TermiNexus e6451a077e fix(tpc): 继承展平沿继承链补真实字段名（消除 __inherited_N 占位名） 
a 编译器缺陷：泛型基类的继承字段在导入侧展平时名字丢失。父类是泛型特化
`GSListNode[ParamNode]`，其特化体不在任何 .vpi 中 ⇒ 按特化名加载必落空 ⇒ 占位符
路径按 struct 槽位数补 `__inherited_N`：偏移对、**名字丢**。于是继承字段的属性访问
找不到字段（现场 `[fast-fail] 属性 Next 在类 ParamNode 中找不到
（class_members=[__inherited_0, Ty]）`）。

语义修正：新增 _ResolveInheritedFieldNames —— 按**声明顺序**沿继承链取父类声明里的
字段名；父类是泛型特化 `X[Arg]` 时回退用**模板名** X 加载其成员（模板声明了字段名，
如 linkedlist.vp:265 `GSListNode[T]: Next: T*` 的 Next），这正是编译期唯一可信的
名字来源；与 DeclarationGenerator._get_inherited_members（stub 端取模板成员）、
BaseGen._get_or_create_struct 的 `_struct_sha1_map` 拼名规则同一条"类名 → 模板/模块"
规则源。名字取不到才退回占位名（仅保证偏移）。

同时修正占位符配对的槽位起点：有 vtable 指针时首元素是 vtable，上面已把它从
_num_elements 扣掉，配对结构体元素必须同步右移一位（原实现从 elements[0] 起取，
会把 vtable 指针的类型当成第一个继承字段的类型）。

结果：展平表直接是 `[("Next", <槽位类型>), ("Ty", ...)]`，属性访问是普通表命中，
不再依赖任何查找期回退。
 2026-09-28 21:46:30 +08:00
TermiNexus 35de6321f6 refactor(return): 移除 @c.CReturn 多返回值处理器，只保留 -> tuple[ty1, ty2, ...]，遇到 CReturn 一律报错 
DeclarationGenerator：tuple[...] 分支逐字保留（仅 CReturnTypes 机械改名 MultiRetTypes），装饰器分支改为 SyntaxError，报文含函数名与“请改用 -> tuple[ty1, ty2, ...]”提示

HandlesAssign（a, b = f() 解包路径）：删除装饰器收集分支并改为报错；tuple[...] 恢复与逐个解包逻辑逐字不变

HandlesFunctions：新增 _CRETURN_REMOVED_HINT 与 _RejectCReturnDecorator，在函数定义入口（_GetFunctionSignatureLlvm / _EmitFunctionLlvm）fail-fast——即使只有装饰器、没有 -> 注解，也不会让返回类型静默退化成 i32

HandlesImports：外部函数声明处同样报错，并删除下游已失效的 CReturnTypes 参数拼接死代码

HandlesReturn / HandlesFor / BaseTranslator：CurrentCReturnTypes 等机械改名（读写端一致，无行为变化）

includes/c.py：保留 CReturn 名字作墓碑（删掉会让 @c.CReturn 变成未知属性、可能被静默忽略），docstring 写明已移除并指路 -> tuple[...]；README 措辞同步
 2026-09-28 13:57:04 +08:00
TermiNexus e1a2821bff fix(tpc): 函数声明创建幂等化，消除 DuplicatedNameError 
同名声明只在 module.globals、不在 Gen.functions 时，旧代码会再走 ir.Function，而 llvmlite 的 NameScope 按名字去重（GlobalValue.deduplicate_name=False）必抛 DuplicatedNameError。GetOrCreateStubFuncDecl（含 check_existing=False 路径）、GetOrCreateFuncDecl、win32console 内建声明、output-stub 按需载入四处统一先复用 module.globals。真实事故：VarGenMixin.vp 同一模块两处 self.Gen.ExprGen.translate_value(...) 都走 check_existing=False，第二处崩在 llvmlite。
 2026-09-27 16:18:37 +08:00
TermiNexus c83fc752c6 fix(sizeof,parse): 尺寸链去静默兜底，解析报错可定位，补 C 解析器缺口 
StructGen: _get_struct_size/_get_align 去 opaque→8/ptr_size、未知→4 兜底并补 VectorType；LiteralStructType.fields→.elements（llvmlite 无 fields，必然 AttributeError）

HandlesClassDef: union 载荷尺寸经不存在的 ir.DataLayout 静默退化成 8 字节；HandlesExprCall/ExprBuiltin: sizeof 各静默 0 分支改 fail-fast，数组元素 sizeof 统一走 _get_struct_size

HandlesFor: nonlocal struct/array 堆分配不再退化成 malloc(8)

vast/vast_c: 补一元 * / & 解析，装饰器后 extern/export 分派修复，C 侧报错带 token 与行号；StubGen.Converter: 宏展开丢尾随空行修 .pyi 缩进非法

其余为 rawptr 迁移 / fail-fast 口径等历史改动一并入库
 2026-09-26 19:27:22 +08:00
TermiNexus 2cc816ac13 修复了一些错误 2026-09-18 20:00:59 +08:00
TermiNexus 6af2dea917 修复了一些问题 2026-09-17 14:52:37 +08:00
TermiNexus 015fbf17cf fix(tpc): 跨模块模块级变量类登记与 Mod.Var.Field 链解析；并停止跟踪 __pycache__/*.pyc 2026-09-12 11:51:42 +08:00
TermiNexus 9257dd841f fix(tpc): rowptr[X] 字段 element_class 登记补短名模糊扫描，修 Unknown module 误报 2026-09-12 11:24:49 +08:00
TermiNexus cc2f5d34eb feat(tpc): includes 只认项目配置；ASan 改为显式链接 clang64 运行库 
includes 目录不再回退仓库硬编码 TransPyCRoot/includes：Phase2Translator 新增 PROJECT_INCLUDE_DIRS（INCLUDE_DIRS 置空以兼容旧引用），Config.py 从 project.vpj 的 includes 同步；HandlesImports 的模块搜索、TypeAnnotationResolver._builtins_include_dirs 一律只读项目目录。

ASan：mingw64 clang 没有 x86_64-w64-windows-gnu 目标的 ASan runtime，新增 _FindAsanRuntimeDir 定位 clang64 运行库并按 -l: 显式链接（asan_dynamic-x86_64.dll.a + runtime_thunk），定位失败即报错退出。HandlesExprFormat：i32 不再写 'l' 长度修饰符（LP64 下 printf 会按 64 位读实参）。
 2026-09-11 22:47:21 +08:00
TermiNexus 45e78ad107 基线重置，修复了一些 bug 2026-09-07 14:46:02 +08:00
TermiNexus 50ca560563 fix(tpc): list 联合类型方法分派保护 + str 压平条件收紧 + external global 裸名兼容 
- HandlesAssign: 变量已有同 base 声明类型时不再覆盖 var_struct_class（sha1 前缀特化名覆盖裸名，导致 dbody.get 查表 miss 后 fallback 到 list[int].get，i32 返回值被截断成垃圾指针崩溃——TPC 侧根治）
- HandlesExprCall: IdentifiedStructType 真值判断改 is None（opaque 时 bool() 触发 __len__ assert）
- HandlesFunctions/HandlesImports: IsStr 压平条件加 PtrCount<=1，str|t.CPtr(i8**) 不压平；external global 正则兼容裸名格式
 2026-08-24 23:31:08 +08:00
TermiNexus c62153a685 perf(tpc): import 热路径优化——walk 结果缓存 + DebugPrint 参数惰性化 
- import 兜底查找（_EmitModuleDeclarationsLlvm）每次解析失败都 os.walk 递归扫描 includes/工程目录，且多级模块名与 basename 永不匹配纯浪费：改为多级跳过 + 目录 walk 结果类级缓存（编译进程内目录不变）
- DebugPrint 调用点（HandlesTypeMerge 类型查询热路径）无条件构造 f-string 参数（含昂贵的 ast.dump），即使 DebugFile 未设置也执行：改为 getattr(DebugFile) 防护后才构造（单文件 profile：_io.open 1253 次 1.76s + DebugPrint cum 2.24s）
 2026-08-22 06:05:43 +08:00
TermiNexus 56a4b5c818 fix(tpc): stub 加载器解析全局变量声明——跨模块全局变量不再静默丢失 
- 根因：_LoadDeclarationsFromStubLlvm 只解析 struct/declare，忽略全局变量声明行，TPC 编译 TPV 时跨模块全局变量（StubMerger._sha1_store_count 等）从未嵌入 Gen.module.globals
- 后果：_lookup_module_global 恒 None -> return 静默跳过 ret（HandlesReturn 的 if Val 分支）、跨模块赋值静默丢失
- 修复：逐行循环加分支解析 16hex 前缀的 external global 声明（剥离 zeroinitializer 与 align 尾部修饰），用 _parse_llvm_type 解析类型后嵌入 external GlobalVariable；.str. 内部常量与 @main 等非 16hex 前缀跳过
- 诊断脚本验证 4 种真实 stub.ll 格式（struct 指针/数组/zeroinitializer/vtable 结构体）全部解析成功
 2026-08-22 04:21:04 +08:00
TermiNexus 3117ab3dec fix(tpc): import fail-fast 判据误报修复——文件系统找不到不等于模块不存在 
- TPV 自举工程 includes 为合并形态，源码模块（lib.Stub.StubMerger 包）不提供裸 .vp 文件，声明由 ModuleSha1Map 定位 sha1 -> temp/*.stub.ll 加载（_LoadDeclarationsFromStubLlvm，与 FullModulePath 无关）
- 原判据只看 FullModulePath 文件系统存在性 -> TPV 构建所有 import 误报 ImportError
- 改为：文件系统找不到时查 _source_module_sig_files / Gen.ModuleSha1Map（TPV 工程由 Phase2Translator._ModuleSha1Map 同步而来），模块有 sha1 注册即视为可解析
- 单文件编译两表皆空，NegativeTest 假 import 用例仍 fail-fast
 2026-08-22 04:04:30 +08:00
TermiNexus 0ce4a4d073 fix(tpc): import 路径/隐式转换/缺失 return 三项漏检 fail-fast 
- HandlesImports: 模块在所有来源找不到时 raise ImportError（原静默容忍导致跨模块 mangled fallback，链接期才暴露 undefined symbol）
- LlvmGenerator: import 处理 ImportError 直接重抛，不被 _ErrorStack 吞掉
- FuncGen: 指针→整数、浮点→整数隐式转换改 raise TypeError（显式 cast 仍允许，符合隐式转换规则）
- HandlesFunctions: 有非 void 返回注解但函数体掉出末尾 raise Exception（-> None / -> t.CVoid 视为 Void 仍合法）
- 新增 Test/NegativeTest 反向测试专项：9 个漏检用例，当前 9 PASS / 0 FAIL
 2026-08-22 03:57:19 +08:00
TermiNexus fbd132284b perf(phase2): 按 PROF 热点优化编译耗时 
- HandlesImports: _TryLoadClassMembersFromPyi 复用 _pyi_cache 跳过重复 isfile（-12.8s）；_LookupStubFuncType 类级缓存 + 签名增量扫描新增 stub，去掉每文件 isfile（-6.5s+）
- Phase2Translator: pyi cache 仅主进程构建（worker 只读 pkl，-23s+pickle 10.4s）；include 源文件 sha1/存在性缓存消除 _build_current_ModuleSha1Map 重复磁盘 I/O
- StructGen.finalize: 行过滤改 startswith(tuple) 预计算，消除 O(lines×structs×patterns) 嵌套循环（tottime 84.8s → 预期数秒）
- 附带 fail-fast（任意文件出错立即终止）+ 子进程 PROF 硬编码
 2026-08-19 00:28:40 +08:00
TermiNexus bdc5ec3e88 fix(HandlesImports): 跨模块展平父类无条件 force 重载，消除并行 worker 布局不确定 
并行 worker 中 class_members[Generator] 曾出现 83/85/88/89/105/106 vs 114
的不确定变体：父类在某次展平时祖先未加载完成即被冻结为部分成员，guard
（成员非空即跳过）又阻止重载 → this_adjust 按不完整 members 计算字节偏移
→ 继承方法 self 错位 → 运行时越界崩溃（FuncTest is_exception_name strcmp，
错位 68 字节）。

修复：
- 父类加载循环无条件 force 重载：_TryLoadClassMembersFromPyi(force=True)
  先清空该类 class_members/defaults/signeds/bitfields/byteorders/bitoffsets
  再重建，字段顺序与定义模块 stub 一致；对其祖先递归同样强制重载，
  最终所有 worker 展平结果确定性一致。
- 已加载父类经 class_sha1_map 直连定义模块 sha1 强制重载（O(1)），
  避免对每个父类全量扫描 ModuleSha1Map。
- _TryLoadClassMembersFromPyi 返回 bool（找到即停），移除 [DIAG-EXT] 诊断。
 2026-08-18 14:38:06 +08:00
TermiNexus 858aba46d0 fix(HandlesImports): _seen_flat_cls 移到父类循环外，菱形去重真正生效 
b021c5b 的递归展平把 _seen_flat_cls 定义在 for _ParentClass 循环内，每个父类新建 seen → 菱形祖先(ClassGenBase)被每个继承它的 ClassGen* 父类各展平一次 → Generator class_members 707 字段(与 struct 114 不一致) → this_adjust sub_off 索引越界 → 继承方法不调整 → register_reexport 写 0x3f 崩溃。运行时诊断确认(707→114)，register_reexport 调用生成正确 this_adjust(GEP +776)。已移除全部临时诊断。
 2026-08-18 14:04:33 +08:00
TermiNexus b021c5b527 fix(HandlesImports): 跨模块 class_members 展平同步按继承源去重 
81ad712 只同步了 HandlesClassDef(运行时) 与 DeclarationGenerator(stub struct)，遗漏并行 worker 跨模块重建路径 _EmitExternalClassDeclLlvm：仍用旧拼接+按字段名过滤算法，菱形继承下与 stub struct 布局不一致，worker 中 this_adjust 算不出偏移，继承方法 self 不调整，运行时错位崩溃(register_reexport 写 0x3f)。改为递归按继承源去重，与 HandlesClassDef._FlattenInherited 一致。
 2026-08-18 13:44:22 +08:00
TermiNexus 7917be0fa1 perf(handles): stub 索引增量重建 + vtable on-demand pyi 缓存类级化，消除 worker 重复解析 
- HandlesImports._build_stub_index：以已扫描文件集合替代文件数签名，无新增文件时仅一次集合比较；新增文件只增量解析，消除每编译完一个文件即全量重扫（prof 847 次全量重建 61s）
- HandlesImports._TryLoadStructFromStub：索引命中直接返回，仅在 miss 时才触发增量扫描
- HandlesExprCall._try_register_vtable_ondemand：函数局部 pyi_cache 提升为类级 _vtable_pyi_cache / _vtable_methods_cache，437 次 open+ast.parse 同批 pyi 降为每 pyi 一次（prof 38.5s）
 2026-08-18 05:27:53 +08:00
TermiNexus 68d180e718 perf(handles): 跨模块类声明分类/节点查找缓存，去重 _EmitExternalClassDeclLlvm 
新增类级 _extern_class_classify_cache（(sha1,class)->分类元组）与
_extern_class_decl_cache（(sha1,class)->pyi ClassDef 节点）：bases/
decorator 分类遍历提取为 _ClassifyExternalClass 纯函数并缓存，
_TryLoadClassMembersFromPyi 节点查找改走索引避免跨任务重复线性扫描
pyi_tree.body（8214 次调用热点之一）。Gen 依赖部分（字段/方法/struct
注册）保持每 Gen 执行，不做整体跳过。
 2026-08-17 23:27:44 +08:00
TermiNexus e5af28fa93 fix(imports): NoneType 异常静默 + struct_body 判空，减少 WARN 干扰输出 
编译大量输出 "HandlesImports: 忽略异常 'NoneType' object has no attribute 'endswith'"：注解/类型解析回退路径对 None 参与运算（数据缺失属正常兜底）——每文件每符号都打 WARN 淹没关键信息。

- 783/1166/1264 三处 except：AttributeError+NoneType 时静默不 WARN，其他异常保留
- 两处 is_packed 判断补 struct_body is not None 防护（源头防 None.startswith/endswith）
 2026-08-17 20:07:35 +08:00
TermiNexus 6fc9e19e24 feat(vast): 新增自研 Viper/Python 语法解析器取代标准库 ast 
TPC 侧取缔对 Python 标准库 ast 模块的依赖，改用 lib/vast 包：
- Nodes: 与 CPython 3.12 ast 完全同构的 131 个节点类(含抽象基类继承)
- Tokenizer: 词法分析(缩进/字符串/f-string/数字/运算符/软关键字)
- ExprParser: 表达式递归下降解析(优先级/lambda/推导式/f-string/切片)
- Parser: 语句解析(def/class/if/for/try/with/match/import/注解)
- Utils/Unparser: walk/dump/unparse/copy_location/literal_eval 等辅助
- 软关键字 fn/fun/func/function 并入解析器, 废除 ExpandSoftKeywords 预处理
- lib/_bootstrap 将 lib 目录加入 sys.path, import vast as ast 零修改替换
- 52 个文件 import ast 替换为 import vast as ast; 94 文件差分测试 0 失败
 2026-08-17 09:36:38 +08:00
TermiNexus 2f0b741d55 fix(gen): TPC 治本——struct opaque 具化、多返回值 fail-fast、with MRO 修复 
1. HandlesExprCall: vtable 分派前 _EnsureReceiverStructConcrete 主动具化 struct
   body（stub + class_members 双路径），消除元数据已注册、本体仍 opaque 的
   撕裂状态，失败即 fail-fast 暴露上游 stub 加载时序问题；
2. HandlesImports: stub 加载后仍 opaque 时不保留成功缓存（可重试），
   避免 opaque 状态被固化导致 vtable 分派 GEP 崩溃；
3. HandlesAssign: 跨模块多返回值 CReturnTypes 恢复（LiteralStructType 回退）
   + 解析失败 fail-fast，不再静默跳过致目标变量未初始化触发堆损坏；
4. HandlesWith: MRO 继承方法解析跳过无函数体的 stub declare（Phase1 继承
   包装声明），bitcast 目标改用函数签名参数类型避免 opaque 占位对象。
 2026-08-13 07:51:27 +08:00
TermiNexus 2129430446 fix(TPC): 跨模块多继承布局统一 - 字段整体前置/方法表合并/父类防重复 
1. 定义模块多继承字段展平 prepend(反序) 改 append(正序)，与 DeclarationGenerator stub 一致，修复 ASan 定位的 Generator 字段运行时错位(0xbe)。2. 跨模块加载 class_members 已含子类自身字段，父类字段必须整体前置(prepend)，否则 Value.Next 命中 FloatVal(double) 导致 store 类型错乱。3. 跨模块补充与定义模块一致的方法合并(父类槽位前置、子类覆盖放父类位置)，修复 vtable 槽错位(MemBuddy.alloc→_fl_find_and_remove)。4. 父类前置按字段名过滤已存在字段，防 _EmitExternalClassDeclLlvm 多加载路径重复调用导致 class_members 重复(BasicBlock:[Next,Next,...])。
 2026-08-10 18:08:58 +08:00
TermiNexus 87b9dec1ef feat(core): TPC 多继承同步 M5 - MRO 查找/字段展平/vtable合并/this调整 
BaseGen: 新增 class_parents + _get_mro_chain(与 TPV 语义一致: 深度优先
+声明顺序+去重) 与 _get_parent_classes 兼容旧单链
HandlesClassDef: 停用 is_base_of_any 自动 vtable; 多父字段展平去重;
方法合并用定义类名; vtable 槽沿 MRO 取定义类
HandlesExprCall: 方法调用沿 MRO 回退 + stub(无函数体)判定修复
undefined reference; 继承方法 this 调整(GEP+bitcast 成父类指针)
HandlesExprUtils/HandlesImports/HandlesWith/StructGen: MRO 查找同步
 2026-08-10 00:29:05 +08:00
TermiNexus 0a10b20dde 修正了逻辑，使 TPV 能够正常编译 2026-08-03 02:00:49 +08:00
TermiNexus cfc30d735c 将 .py 和 .pyi 后缀名改为了 .vp 和 .vpi 后缀名 2026-07-30 16:33:56 +08:00
TermiNexus 3633be1995 Some simple information syncing 2026-07-28 21:08:58 +08:00
TermiNexus 1837339f69 修正了一些错误 2026-07-26 20:32:26 +08:00
TermiNexus ca7c2120b8 修正了种子编译器的错误 2026-07-22 21:55:36 +08:00
TermiNexus 4e66207ba1 重置上传，新增了多个标准库，开始 TransPyV 自举实验 2026-07-19 11:38:15 +08:00
t 796222a300 snapshot before regression test 2026-07-18 19:25:40 +08:00