GVSDS/TransPyC
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
478 Commits 1 Branch 0 Tags
f19d25782f32585bdc4771d67f7f8fa504ff4acb
Commit Graph
17 Commits
Author SHA1 Message Date
TermiNexus f19d25782f refactor(tpc): 退役 t/c 模块并将定宽类型升级为内建 
删除 lib/includes/t.py、c.py，类型模型迁入 lib/core/TypeSystem.py；移除 IsTModule/_T_MODULE_NAMES 等名称判据，语法糖与内部标记统一为裸名；builtins 的 sizet/intN/uintN/fast/least/uchar/short/long 等改为编译器内建短名。
 2026-10-18 13:00:58 +08:00
TermiNexus 23b47053d9 chore: 同步 TransPyV→ViperC 改名、new 表达式支持与定宽字面量/窄化适配 2026-10-12 20:59:39 +08:00
TermiNexus 4f9c234ea8 fix(cdef): external 声明不再遮蔽同名 CDefine 常量；补 t 类名别名解析 
两处：① 现场证据（_shared_sym_includes.pickle）显示 all_dc 已含 STD_*-10/-11/-12，但模块 IR 仍 load @STD_ERROR_HANDLE —— 因为 stub 注入的 @X = external global（无初值）让 _lookup_cdefine 的遮蔽判据 AttrName in Gen.module.globals 成立，直接跳过了 CDefine 回退。新增 SymbolUtils.GlobalDeclShadowsDefine：只有**带初值**（本模块真正定义）的全局才遮蔽；仅 external 声明不算。裸名路径同判据改用同一 helper。② all_decl_types 为空的根因：DWORD 的 BaseType 为 None，底层类型存在 OriginalType 字符串 'CUInt32T'（t 类名），原解析只认内层 CTypeInfo。补：按 getattr(t, 类名) 解析该串。离线校验 DWORD|t.CDefine → (32, False)。
 2026-10-10 21:25:33 +08:00
TermiNexus d5b4e9a8b9 feat(cdef): define 常量带类型注册——按声明类型物化（DWORD(-11) → i32 位型） 
方案 C：CDefine 不再只存无类型 int，而是把**声明整数类型**（位宽 + 符号性）一并登记，使用点按该类型物化，而不是按数值大小猜 i32/i64。链路：① SymbolUtils 新增 DefineIntSignednessOf / DefineDeclIntTypeFromAnnotation（由 T | t.CDefine 注解经符号表 typedef 链解析宽度与符号性）/ DefineDeclTypeValue（按声明类型把值归一成 (位宽, 位型值)）；② 同模块注册（LlvmGenerator._register_cdefine_constant）与跨模块提取（Phase2Translator._ExtractCDefineConstantsFromPyi，含 _shared_all_decl_types 的 pickle 传递）分别写 Gen._define_decl_types / translator._define_decl_types；③ 物化处（HandlesExpr 裸名两处、HandlesExprAttr._make_define_constant，及 from-import 注册）优先按声明类型出常量。这样 win32file 的 STD_*_HANDLE（DWORD(-10/-11/-12)）解析为 i32 位型 0xFFFFFFF5 等，与 GetStdHandle(ULONG) 使用点一致。
 2026-10-10 21:20:30 +08:00
TermiNexus 07ba7a4fe5 fix(codegen): 新规范迁移暴露的 4 类解析/代码生成缺陷 
1) HandlesExpr._HandleConstantLlvm 引号判定用 AST lineno 直查磁盘行，漏了 _inject_auto_imports 注入行的偏移 N，取到错行；改用 _DiskLineno 还原，并把 col_offset（UTF-8 字节偏移）转字符偏移后再切片。2) Phase2Translator 新增 _DedupComdatDecls：_dso.ll 由各依赖片段拼接，每片段各带同名 comdat 声明，llc 报 redefinition of comdat；在 _AddWeakComdat 入口与两处落盘点去重。3) LLVMTypeMapper._resolve_name 补存储类/类型限定符标记分支（CExport/CExtern/CConst… 返回空串，由 _resolve_bitor 取另一侧真实类型），与 _resolve_attribute 同口径。4) 短别名（int/int64/sizet/char…）在 typedef 右值与类型转换调用处解析不到：SymbolTypeResolver._resolve_typedef_from_value 与 LLVMTypeMapper.resolve_typedef_value_type 的 ast.Name 分支补 builtins typedef / BuiltinTypeMap 兜底（BaseType 可能是 CType 实例，须取 type(x).__name__），HandlesExprCall 的类型转换求值补 _lookup_builtins_typedef 回退并保留双参数 CPtr 指针包装。验证：TransPyV 自举 includes 52/52 + App 76/76 全通过；TPV 顺序回归 77/77。
 2026-10-05 09:25:02 +08:00
TermiNexus b18d57fa38 perf(全仓库/正则): 字面量正则全部改模块级预编译常量（15 文件 / 115 个调用点） 
背景（prof 基线 PROF/20260930_224857，主进程 433.69s）：正则这一族合计 ≈45s ——
`re.match`（未预编译入口）被调 1970 万次 / 自身 10.70s、它内部 `Pattern.match` 占 8.06s，
`re._compile`（缓存查找）1975 万次 / 7.19s，`re._make`（真正编译）274 万次 / 7.62s
（说明 re 的 512 条缓存已被打穿，每 7 次调用就有 1 次重新编译）。
每次 `re.match(字面量, s)` 都要做"模式串哈希 → 缓存查找"；预编译后这层全省掉。

改动：把 15 个文件里 97 处"字面量当模式"的 `re.match/search/sub/subn/fullmatch/
findall/finditer/split(...)` 提升为模块级 `_RE_*: re.Pattern[str] = re.compile(...)`，
共 115 个调用点（含同字面量跨处共用）。模式串与 flags 一字未改（flags 从调用处
搬进 re.compile，含原先以**位置参数**传入的 flags）。4 处拼接型动态模式按设计不动
（FuncGen 2 处、HandlesImports 2 处）。

核验（不靠肉眼）：写了 AST 指纹对拍脚本，对每个文件取 HEAD 版与新工作区版，把
"旧 re.<m>(字面量, 其余实参, 关键字) + flags" 与 "新 _RE_X.<m>(实参, 关键字) +
常量 (模式, flags)" 做多重集比对 —— 15 个文件、115 个调用点全部逐一等价（0 失败），
另查无重名常量、无遗留字面量调用、GetDiagnostics 全空。
对拍过程中查出一处子代理抄写错误：`_RE_GLOBAL_DSOLOCAL_MULTILINE` 丢了行首锚 `^`
（原文注释明确"使用 ^ + MULTILINE 避免匹配字符串常量内容中的 define/declare"），已修正。

同轮经查证后**未做改动**的两项（避免把假热点当真事修）：
- VLogger 的 `re.sub` 6.43s：profile 当时的 VLogger 版本里根本没有 `import re`
  （`git show 3658ab06:lib/core/VLogger.py` 已确认），属 C 帧错挂，不做。
- tokenize 274 万次：那是 `_generate_tokens_from_c_tokenizer` 的 **token 产出次数**
  （≈350 个整文件的词法量），SymbolUtils 的 4 个 tokenize 调用点 nc 仅数百，且已有
  `_EXPAND_CACHE` 去重；再加一层 token 缓存无收益，不做。
 2026-09-30 23:47:36 +08:00
TermiNexus c86ecb0c89 refactor(LLVMCG/Handles): 直建 ir.Function 点全部收敛到幂等入口，3 处不再吞 fail-fast 
类别：a 编译器缺陷（同一根因的其它变体收口：函数声明创建的唯一入口 + fail-fast 不被吞）

背景（前几轮已修两处）：llvmlite 的 `Function.__init__` 不是事务性的（名字在 `_set_name`
就进 module.scope，之后建 Argument/ReturnValue 才断言类型，最后才 add_global），中途失败会
留下悬空名字；本仓已加两道防线：全局守卫 `InstallFuncCreateGuard()`（回滚名字 + 带调用点的
FailFastError）与唯一幂等入口 `_CreateOrReuseFuncDecl`（创建前自检、同名同类型复用、异类型
带两侧签名 fail-fast）。但仍有 20+ 处**绕过入口直建**（同名时抛裸 DuplicatedNameError、且
名字被占/半注册时只能看到没有上下文的名字），以及若干处 `except Exception` 会把这颗
FailFastError 吞掉（声明静默缺失、真因丢失）。

改动：
1. 创建点收敛（21 处，行为等价或更严）——`X = ir.Function(<gen>.module, <fty>, name=<N>)`
   → `X = <gen>._CreateOrReuseFuncDecl(<N>, <fty>)`：
   · Handles：HandlesAnnAssign[llvm.memcpy]、HandlesAssign[llvm.memcpy.p0i8.p0i8.i64 ×2]、
     HandlesBase[GetOrCreateFuncDecl / GetOrCreateStubFuncDecl]、
     HandlesExpr[malloc]、HandlesExprBuiltin[strlen / llvm.memcpy]、
     HandlesExprCall[llvm.* 与普通 / win32 API / strlen / llvm.memcpy]、
     HandlesAsyncFunctions[malloc / create_* / resume_* / CRT 声明 / free]、
     HandlesExprLambda[lambda 包装]、HandlesFunctions[_replace_function_decl 的 old_func=None 分支]、
     HandlesImports[output stub 按需加载]
   · LLVMCG：BaseGen[_DeclareExternalFunc 与 6 处 --hotspot-sites 内部符号]、
     ExprGen[llvm.pow.f64]、VaArg[llvm.va_start / llvm.va_end]
   原有 globals/functions 预检查与随后的 `Gen.functions[...] = X` 赋值一律保留。
   注：`_DeclareExternalFunc` 收敛后外部声明会同时登记进 `self.functions`（幂等入口固有行为，
   与既有 `get_or_declare_c_func` 一致；该路径仅 --hotspot-sites 调试特性使用）。
2. fail-fast 不再被吞（3 处）：在包裹创建的 `except Exception` 首部加
   `isinstance(_e, FailFastError) → raise`：
   · HandlesExpr[malloc 的 null 回退分支]、HandlesExprBuiltin[strlen]、HandlesExprCall[strlen]
   （其余异常维持原行为，本轮不扩大 fatal 面。）
   另有 HandlesFunctions / HandlesImports 的同类 handler 前几轮已具备 FFE 重抛，本次未重复改。

验证：13 个改动文件 `py_compile` 全部 EXIT=0；冒烟 4 例通过——同名同类型复用同一对象、
异签名 → FailFastError（报文含两侧签名 i64/i32）、名字被非函数全局占用 → FailFastError、
`llvm.va_start` 幂等。另：`ir.Function(` 在 lib 内仅剩 `BaseGen._CreateOrReuseFuncDecl` 内部
这一处（豁免点）；`DecoratorPass.py` 的 `module` 为外部传入（非 Gen 的模块）故其两处保持原样。
 2026-09-30 09:53:41 +08:00
TermiNexus d7158bd336 feat(cast): 指针隐式转换新规则 + None 可隐式转任意类型 + 诊断错位修复（9 文件） 
MemoryOps._ClassifyPtrImplicitConvert：同类型放行；层数不同禁；任一侧通用指针(i8*)放行；皆非通用按被指类型（非基本类型禁、基本标量按位宽无损）；指针与非基本值互换禁

_IsNoneValue 收敛：AST None 常量 或 指针型 null 常量 → 放行任意目标（指针目标给 null，非指针目标给零值）；整数 0 不误命中；短路口覆盖 9 处禁令

诊断：新增 BaseGen._DescribeValueNode（子表达式下沉 + 有符号列号 + 源码片段），9 处禁令统一使用，不再打印外层 Assign 与 4294967295 列号

注：TPC 侧规则③比 TPV 更严（指针→非基本值恒禁），可能与既有按值回读冲突；待实机编译确认后再统一两侧口径
 2026-09-28 15:10:39 +08:00
TermiNexus 3b5d85ce9d fix(handles): 补指针操作符目标写入与实参解引用，消除静默丢弃 
- HandlesAssign: 新增 ast.UnaryOp 赋值目标分支（*p = v 复用 _StoreWithCoerce）；Tuple/List 目标合并；删除 Tuple 分支里未绑定的死代码（UnboundLocalError）

- HandlesAugAssign: 新增 ast.UnaryOp 目标分支实现真 *p += v，其余形态 fail-fast

- HandlesExpr: 新增 ast.Starred 分支，值位置 *p 归一为 UnaryOp(Deref)（修 t.CPtr(*((uint64*)(blk))) 恒为 0）
 2026-09-27 00:19:44 +08:00
TermiNexus c83fc752c6 fix(sizeof,parse): 尺寸链去静默兜底，解析报错可定位，补 C 解析器缺口 
StructGen: _get_struct_size/_get_align 去 opaque→8/ptr_size、未知→4 兜底并补 VectorType；LiteralStructType.fields→.elements（llvmlite 无 fields，必然 AttributeError）

HandlesClassDef: union 载荷尺寸经不存在的 ir.DataLayout 静默退化成 8 字节；HandlesExprCall/ExprBuiltin: sizeof 各静默 0 分支改 fail-fast，数组元素 sizeof 统一走 _get_struct_size

HandlesFor: nonlocal struct/array 堆分配不再退化成 malloc(8)

vast/vast_c: 补一元 * / & 解析，装饰器后 extern/export 分派修复，C 侧报错带 token 与行号；StubGen.Converter: 宏展开丢尾随空行修 .pyi 缩进非法

其余为 rawptr 迁移 / fail-fast 口径等历史改动一并入库
 2026-09-26 19:27:22 +08:00
TermiNexus 13a8f6c1b6 feat(coro): 语言内协程 M1——async def + await + coro_run 状态机 
TPC 新增协程生成器 AsyncFunctionHandle（lib/core/Handles/HandlesAsyncFunctions.py）：
async def 编译为帧结构体 {state, done, ret, 局部变量槽} + create_<name>()（malloc
分配）+ resume_<name>()（switch 状态机，0=SUSPEND/1=DONE）。await 按顶层赋值
切分函数体：创建子帧 -> resume -> 取子帧 ret -> 存父帧槽 -> 父挂起（state 前进）；
普通调用 async 函数生成 create（返回帧指针）；coro.coro_run 在调用点内联翻译为
resume 循环。vast parser 已支持语法；新增 includes/coro.vp（Coroutine + 占位
运行时）与 Test/CoroTest（期望输出 coro result = 14）。

M1 限制：async 无参数、返回 i32/int；协程体仅顶层 AnnAssign/Assign/Expr/Return；
await 仅顶层赋值形式、子协程假设一次完成（无嵌套挂起）；coro_run 依赖本模块
先赋值的协程变量。M2 将支持参数/嵌套 await/控制流。
 2026-08-21 12:36:00 +08:00
TermiNexus bd0e541b74 fix(handles): 删除 [CD] lookup: 调试输出及无用 _is_cd_key 逻辑 
删除 _HandleNameLlvm 中 4 处 [CD] lookup 调试打印（干扰编译日志）、
随之失效的 _is_cd_key 计算、以及仅用于打印的 SymbolTable.lookup 死代码。
 2026-08-17 21:00:52 +08:00
TermiNexus 6fc9e19e24 feat(vast): 新增自研 Viper/Python 语法解析器取代标准库 ast 
TPC 侧取缔对 Python 标准库 ast 模块的依赖，改用 lib/vast 包：
- Nodes: 与 CPython 3.12 ast 完全同构的 131 个节点类(含抽象基类继承)
- Tokenizer: 词法分析(缩进/字符串/f-string/数字/运算符/软关键字)
- ExprParser: 表达式递归下降解析(优先级/lambda/推导式/f-string/切片)
- Parser: 语句解析(def/class/if/for/try/with/match/import/注解)
- Utils/Unparser: walk/dump/unparse/copy_location/literal_eval 等辅助
- 软关键字 fn/fun/func/function 并入解析器, 废除 ExpandSoftKeywords 预处理
- lib/_bootstrap 将 lib 目录加入 sys.path, import vast as ast 零修改替换
- 52 个文件 import ast 替换为 import vast as ast; 94 文件差分测试 0 失败
 2026-08-17 09:36:38 +08:00
TermiNexus 0a10b20dde 修正了逻辑，使 TPV 能够正常编译 2026-08-03 02:00:49 +08:00
TermiNexus 3633be1995 Some simple information syncing 2026-07-28 21:08:58 +08:00
TermiNexus a277ded8d4 修正了 TPC 的一些错误，包括 Test 维护后 TPV 无法重新编译或重编译后越界的部分问题 2026-07-20 11:12:30 +08:00
t 796222a300 snapshot before regression test 2026-07-18 19:25:40 +08:00