GVSDS/TransPyC
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
530 Commits 1 Branch 0 Tags
a9f5d026c459de5abcef903e5a6a7cc3f1595755
Commit Graph
19 Commits
Author SHA1 Message Date
TermiNexus 15f77da9d3 chore: 改名同步 TransPyV -> ViperC（源码/配置内的纯替换） 2026-10-12 15:06:48 +08:00
TermiNexus 030d0fd149 feat(tpc): PROF 输出按编译启动时间分目录，不再清理旧目录 
需求（2026-09-29）：PROF 按启动时间分组新建文件夹生成，不清理旧的 PROF。

改动：
- Phase2Translator：新增 `StartProfRun()`（在 PROF 根目录下按 `YYYYmmdd_HHMMSS`
  新建本次编译专属子目录，同名补 `_N`；失败回落 PROF 根目录）与
  `GetProfRunDir()`（主进程用已选定目录，worker 用继承的环境变量
  `TPC_PROF_RUN_DIR` 复用同一目录）。原 `_CleanProfFiles()` 删除——它的语义
  是"每次编译删掉 PROF 下全部 *.prof"，与"保留历次"直接冲突。
- worker_prof_*.prof 落 `PROF/<启动时间>/`。
- main_prof_{pid}.prof 与 main_time.txt 同样落该目录（Projectrans.py）。
- Config.main 启动时调用 StartProfRun 并打印本次输出目录。

子目录名经环境变量传子进程：ProcessPoolExecutor 用 spawn 起新解释器，进程内
模块态不共享，环境变量随进程继承 ⇒ 同一次编译的所有 worker 落在同一目录，
不会各建各的。
 2026-09-29 16:26:44 +08:00
TermiNexus c83fc752c6 fix(sizeof,parse): 尺寸链去静默兜底，解析报错可定位，补 C 解析器缺口 
StructGen: _get_struct_size/_get_align 去 opaque→8/ptr_size、未知→4 兜底并补 VectorType；LiteralStructType.fields→.elements（llvmlite 无 fields，必然 AttributeError）

HandlesClassDef: union 载荷尺寸经不存在的 ir.DataLayout 静默退化成 8 字节；HandlesExprCall/ExprBuiltin: sizeof 各静默 0 分支改 fail-fast，数组元素 sizeof 统一走 _get_struct_size

HandlesFor: nonlocal struct/array 堆分配不再退化成 malloc(8)

vast/vast_c: 补一元 * / & 解析，装饰器后 extern/export 分派修复，C 侧报错带 token 与行号；StubGen.Converter: 宏展开丢尾随空行修 .pyi 缩进非法

其余为 rawptr 迁移 / fail-fast 口径等历史改动一并入库
 2026-09-26 19:27:22 +08:00
TermiNexus 53a345a59a feat(ctrlc-stack): 新增 --ctrlc-stack 编译期开关（按键打印 .vp 调用栈） 
Config/Phase2Translator: --ctrlc-stack 自动开 DWARF；缓存失效；链接后 llvm-dwarfdump 导出 <exe>.stackmap（逐条归一化为 RVA——旧的整体判据会被 lld 去重产生的 0 地址行带偏，导致全表差一个 ImageBase）；链接参数追加 -ldbghelp；include 也生成 DWARF 并隔离到 includes.binary_ctrlcstack(_asan)；llc 追加 -frame-pointer=all。

BaseGen._RegisterDbgStackInstallViaCtor + StructGen.finalize 钩子: 注入 llvm.global_ctors(priority 65535) 在启动期调用 dbgstack.Install()，写盘前核对 global_ctors 否则 fail-fast。

FuncGen._adjust_args: 指针到整数的 fail-fast 补逐项类型诊断。
 2026-09-25 13:11:13 +08:00
TermiNexus 43e7cdd2cc feat(tpc): 函数级 DWARF 调试元数据 + 合并 IR 元数据规整 
DWARF: 新增 LLVMCG/DebugInfo.py（DebugInfoEmitter）——每模块一个 DIFile/DICompileUnit、每个 define 一个 DISubprogram 并在函数入口首条指令挂 DILocation，模块落盘前补 !llvm.dbg.cu 与 !llvm.module.flags(Debug Info Version 3)。开关：新增 --dwarf（默认关闭），dwarf_enabled = args.dwarf or args.asan，沿 Phase2Translator → _translate_file → Translator.DwarfEnabled → LlvmCodeGenerator.dwarf_enabled 下传。define 之外的 declare 不挂。include 库刻意不给 DI（其 .obj 进跨项目共享的 includes.binary 缓存，注入会污染缓存）

关键约束（踩过的坑，已在探针中实测）：DICompileUnit 与 DISubprogram 必须 is_distinct=True；emissionKind 用 FullDebug 而非 Full；spFlags 用 DISPFlagDefinition；DISubprogram 必带 type=DISubroutineType，缺了 llc 会崩 0xC0000005；模块级必须有 !llvm.dbg.cu + Debug Info Version 3

IRMetadataFix: 新增 SanitizeIRMetadata，在 _llc_compile 入口统一规整 IR——BuildCombinedIR 是多模块 IR 文本直接拼接，--dwarf 后每个片段自带 !0..!N 与两份命名元数据，22383 行样本里 !0/!1 各重复 67 次导致 opt/llc 报 Metadata id is already used。实现：按块重编号 !N 并改写 !dbg/命名元数据引用、!llvm.dbg.cu 全量聚合、其它命名元数据全同去重；无元数据文件逐字节 no-op、幂等（1.7MB/0.30s）

顺带修 _AddWeakComdat：函数头正则跨行吞换行，--dwarf 把 !dbg 放到 define 行尾后 comdat 被插到 ! 附着之后，llc 报 expected { in function body（现场 52 个 define 中 36 个中招）；改为插在附着之前，无 !dbg 时产物逐字节不变

已自证：llc/opt RC=0、行表含 .vp 文件名与行号、opt -passes=forceattrs,asan 与 llvm-link/always-inline 均不丢 !dbg。已知待办：llc 现报 inlinable function call ... must have a !dbg location ⇒ 需补语句/调用点级 !dbg（否则警告 ignoring invalid debug info 会丢弃整份 DI）
 2026-09-16 19:29:51 +08:00
TermiNexus 84d91d53e5 perf(hotspot): 计时串行化并改为自身耗时(exclusive)统计 
--hotspot-sites 的每函数计时原为裸 rdtsc 的 inclusive 耗时，导致 _parse_* 一条调用链各项数值几乎相同、无法定位自身成本，且短函数测量不可信。

新增 _EmitReadTimestamp：x86_64 用 lfence 加 readcyclecounter 串行化读（业界通行的 lfence;rdtsc），非 x86_64 编译期降级为裸 readcyclecounter；入口与每个 ret 前共用。选 intrinsic 组合而非内联汇编，避免约束串转义与渲染风险。

用深度栈实现自身耗时：全局 __fhs_tdepth 与 [512 x i64] __fhs_tstart/__fhs_tchild，self = inc 减去本帧内被插桩子调用 inc 之和；递归靠每调用独立 slot 与深度索引天然正确；深度溢出或终结指令非 ret 的块明确跳过不记账（仅计进入次数），不伪造数值。入口段用 select 而非条件分支，避免改动 CFG。

hotspot_time.txt 行为 函数名 self inc 进入次数（仍按 self 降序），段头注明单位 tick 与 self 口径；hotspot_sites.txt 格式保持不变；帮助文本同步更新。未插桩的被调方（含 libc）耗时计入调用者 self，属该方法固有性质并已注明。
 2026-09-14 13:42:14 +08:00
TermiNexus fc5a6134ca feat(hotspot)!: 下线 --func-hotspot 并为 --hotspot-sites 增加每函数计时器 
移除 --func-hotspot 全链路（CLI 解析与绑定、Config argparse 与注入、Translator 属性、LlvmGenerator 收口与透传、BaseGen 专属实现、Phase2Translator 透传、帮助文本）；全仓已无 FuncHotspot/func-hotspot 残留引用。

通用截断逻辑保留并改名为 _InstallHotspotTruncate，供 --hotspot-sites 使用（分别清空 hotspot_sites.txt 与 hotspot_time.txt）；ctor 注册改为直接新建并接收处理器列表（sites 与 time 两个处理器在同一 ctor 内注册）。

--hotspot-sites 现附带每函数计时：入口读一次 @llvm.readcyclecounter() 存起始 tick，在函数所有 ret 之前再读一次并累加差值到 internal i64 __fhs_ftime_N，同时 __fhs_ftime_enter_N 记录进入次数；单位为 tick（x86_64 即 CPU 周期），语义为 inclusive（包含内层调用）。

计时结果按耗时降序写入同目录 hotspot_time.txt（# time <module_sha1> 分段 + 函数名/累计 tick/进入次数），不改变 hotspot_sites.txt 的既有格式与字段。不传 --hotspot-sites 时零影响。
 2026-09-14 13:10:06 +08:00
TermiNexus 2021c0edb7 feat(hotspot): 新增 --hotspot-sites 逐调用点计数并带源码 file:line 
为匹配白名单的直接 call 点插桩 internal i64 __fhs_site_<K>（call 前 +1），计数天然包含循环内放大的真实执行次数，可把热点定位到具体调用点。

新增 --hotspot-callees 覆盖白名单、--hotspot-sites-all 全量；按去 16 位 sha1 前缀后的基名匹配。Ctrl+C 落盘独立文件 hotspot_sites.txt（# sites 分段，含调用方/被调方/计数/源码位置），按计数降序；不破坏既有 hotspot.txt 格式。

在 AST->IR 生成期由 _HotspotSiteBuilder 为每条新生成的 call 指令轻量挂载 _src_file/_src_line，插桩时作为可选尾字段输出；取不到则留空不伪造。开关关闭时改用原生 ir.IRBuilder，零影响。
 2026-09-13 23:29:32 +08:00
TermiNexus 5680592f37 feat(tpc): 新增 --func-hotspot 函数热点统计，Ctrl+C 时落盘 
启用后为每个函数定义生成 internal i64 计数器并在入口递增；各模块 Ctrl+C 处理器以追加方式写最终文件（含 main 的模块启动时清空一次），经 llvm.global_ctors 自注册；未传参数时零影响。
 2026-09-13 17:50:01 +08:00
TermiNexus cc2f5d34eb feat(tpc): includes 只认项目配置；ASan 改为显式链接 clang64 运行库 
includes 目录不再回退仓库硬编码 TransPyCRoot/includes：Phase2Translator 新增 PROJECT_INCLUDE_DIRS（INCLUDE_DIRS 置空以兼容旧引用），Config.py 从 project.vpj 的 includes 同步；HandlesImports 的模块搜索、TypeAnnotationResolver._builtins_include_dirs 一律只读项目目录。

ASan：mingw64 clang 没有 x86_64-w64-windows-gnu 目标的 ASan runtime，新增 _FindAsanRuntimeDir 定位 clang64 运行库并按 -l: 显式链接（asan_dynamic-x86_64.dll.a + runtime_thunk），定位失败即报错退出。HandlesExprFormat：i32 不再写 'l' 长度修饰符（LP64 下 printf 会按 64 位读实参）。
 2026-09-11 22:47:21 +08:00
TermiNexus 49631ccf9b feat(linker): TPC 支持 project.vpj linker.dynamic_libs 动态链接 .dll/.so（解析为绝对路径，作为链接输入文件） 2026-09-01 22:01:18 +08:00
TermiNexus e33792a9ad feat(linker): TPC 支持 project.vpj 静态链接 .a/.obj 
- Config.py 读取 linker.static_libs（相对 vpj 目录解析为绝对路径）

- Phase2Translator 新增 static_libs 参数，并入 extra_link_files 参与链接（位于 -o 之后、-l 之前）
 2026-09-01 20:15:17 +08:00
TermiNexus 0db1ccd1bb refactor(asan): TPC_ASAN 环境变量改 args 直传 
--asan 不再写 TPC_ASAN 环境变量，改为 Config 解析后直接经
asan_mode=args.asan 传给 Phase2Translator（主进程 .ll→.obj 插桩与
链接 -fsanitize=address 均读 self.asan_mode），消除环境变量在
worker 子进程/外部调用链下的不可靠性。
 2026-08-19 08:47:32 +08:00
TermiNexus 1808e90fd3 feat(projectrans): 主进程 PROF 自动落盘 + 编译耗时统计 + 分析脚本升级 
- Projectrans.py 入口包 cProfile，整次编译自动导出 main_prof_{pid}.prof 到 ./PROF；成功/失败均输出 [TIMING] 总耗时（stderr）并落盘 main_time.txt
- Config.py 新增 --asan（透传 TPC_ASAN=1）+ 每次编译自动清理 PROF 目录 *.prof
- PROF/1.py 升级为综合报告（tottime/cumtime top + callers 定位 + 模块聚合 + 上次编译耗时）
 2026-08-19 00:28:18 +08:00
TermiNexus 6fc9e19e24 feat(vast): 新增自研 Viper/Python 语法解析器取代标准库 ast 
TPC 侧取缔对 Python 标准库 ast 模块的依赖，改用 lib/vast 包：
- Nodes: 与 CPython 3.12 ast 完全同构的 131 个节点类(含抽象基类继承)
- Tokenizer: 词法分析(缩进/字符串/f-string/数字/运算符/软关键字)
- ExprParser: 表达式递归下降解析(优先级/lambda/推导式/f-string/切片)
- Parser: 语句解析(def/class/if/for/try/with/match/import/注解)
- Utils/Unparser: walk/dump/unparse/copy_location/literal_eval 等辅助
- 软关键字 fn/fun/func/function 并入解析器, 废除 ExpandSoftKeywords 预处理
- lib/_bootstrap 将 lib 目录加入 sys.path, import vast as ast 零修改替换
- 52 个文件 import ast 替换为 import vast as ast; 94 文件差分测试 0 失败
 2026-08-17 09:36:38 +08:00
TermiNexus cfc30d735c 将 .py 和 .pyi 后缀名改为了 .vp 和 .vpi 后缀名 2026-07-30 16:33:56 +08:00
TermiNexus 1837339f69 修正了一些错误 2026-07-26 20:32:26 +08:00
TermiNexus ca7c2120b8 修正了种子编译器的错误 2026-07-22 21:55:36 +08:00
t 796222a300 snapshot before regression test 2026-07-18 19:25:40 +08:00