GVSDS/TransPyC
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
206 Commits 1 Branch 0 Tags
ebfaacf7bf931d381e3171f51bb3d4912785c2d1
Commit Graph
26 Commits
Author SHA1 Message Date
TermiNexus ebfaacf7bf fix(tpc): worker cProfile 默认禁用——环境变量 TPC_WORKER_PROF=1 开启 
- 之前 getprofile 互斥检查仍冲突（用户环境仍报 Another profiling tool is already active，viztracer --log_multiprocess 场景）
- 彻底修复：cProfile 默认不启用（TPC_WORKER_PROF=1 显式开启才启用），与 viztracer 等外部 profiler 完全解耦；开启时仍有 getprofile 让位 + enable 异常兜底双保险
- 冲突根源：Python 只允许一个 profiling tool 活跃，TPC worker cProfile.enable() 检测到 viztracer 注入的 profiler 即抛错 -> worker 崩溃 -> batch 异常 -> 编译终止
 2026-08-22 07:31:06 +08:00
TermiNexus c2f07e10cd fix(tpc): worker cProfile 与 viztracer 互斥——外部 profiler 活跃时跳过 
- 冲突机制：viztracer --log_multiprocess 经 sys.setprofile 注入 profiler 到 worker，TPC _ProfileWorker 的 cProfile.enable() 检测到已激活 profiler 抛 'Another profiling tool is already active' -> worker 崩溃 -> batch 0 异常 -> 编译终止
- 修复：_ProfileWorker 先查 sys.getprofile()，非 None（viztracer 等外部 profiler 活跃）时跳过 cProfile 让 viztracer 独占；正常编译（无外部 profiler）仍保留 cProfile（PROF 数据不受影响）
 2026-08-22 07:16:52 +08:00
TermiNexus d092b4d31f perf(tpc): 并行 worker 决策放宽——per_worker_mb 700 降至 350 
- 根因：_PickWorkerCount 按可用内存/700MB 决定 worker 数，实测翻译 worker 稳态 ~110MB/峰值 ~300MB，700 过保守——可用内存稍紧即整体降级单 worker 串行（76 文件逐个翻译 1180s vs 并行 ~400s，2-3 倍波动，用户反馈编译不稳定）
- 修复：per_worker_mb 700 -> 350（留峰值余量），更多场景走并行
 2026-08-22 06:54:56 +08:00
TermiNexus 567d925235 perf(tpc): PROF 热点优化——vast 节点 _Init unroll 特化 + isfile 结果缓存 
- vast/Nodes.py：_MakeNodeClass 动态生成 __init__，全位置参数路径按字段
  索引直赋（unroll，去 zip 迭代器），语义与通用路径完全等价
  （PROF：_Init 158 万次 29s 最大纯 Python 热点，实测 ~1.4x）
- Phase2Translator.py：新增模块级 _CachedIsFile（编译进程内文件状态稳定），
  替换全部 os.path.isfile 存在性检查（PROF：2.6 万次 16.4s）
 2026-08-22 03:08:29 +08:00
TermiNexus 12207e91d8 fix(phase2): 并行编译 worker 数按可用内存动态限制，修复内存不足 OOM 
系统可用内存低（Trae CN/Java 占用后仅剩 ~1GB）时，ProcessPoolExecutor
按 cpu_count 开满 worker，多进程编译内存叠加在 StructGen.finalize 拼接
module IR 时 MemoryError（编译 StubMergerTopo.vp 报错即此）。新增
_PickWorkerCount：GlobalMemoryStatusEx 读 ullAvailPhys，按 per_worker_mb
估算 worker 上限（翻译 700MB / llc 400MB），内存不足自动降为单 worker
串行，内存充足回落 cpu_count。StructGen.finalize 拼接改中间变量拆分，
降低单 worker 峰值副本。
 2026-08-21 09:04:40 +08:00
TermiNexus 0db1ccd1bb refactor(asan): TPC_ASAN 环境变量改 args 直传 
--asan 不再写 TPC_ASAN 环境变量，改为 Config 解析后直接经
asan_mode=args.asan 传给 Phase2Translator（主进程 .ll→.obj 插桩与
链接 -fsanitize=address 均读 self.asan_mode），消除环境变量在
worker 子进程/外部调用链下的不可靠性。
 2026-08-19 08:47:32 +08:00
TermiNexus fbd132284b perf(phase2): 按 PROF 热点优化编译耗时 
- HandlesImports: _TryLoadClassMembersFromPyi 复用 _pyi_cache 跳过重复 isfile（-12.8s）；_LookupStubFuncType 类级缓存 + 签名增量扫描新增 stub，去掉每文件 isfile（-6.5s+）
- Phase2Translator: pyi cache 仅主进程构建（worker 只读 pkl，-23s+pickle 10.4s）；include 源文件 sha1/存在性缓存消除 _build_current_ModuleSha1Map 重复磁盘 I/O
- StructGen.finalize: 行过滤改 startswith(tuple) 预计算，消除 O(lines×structs×patterns) 嵌套循环（tottime 84.8s → 预期数秒）
- 附带 fail-fast（任意文件出错立即终止）+ 子进程 PROF 硬编码
 2026-08-19 00:28:40 +08:00
TermiNexus 6613542d8e perf(compile): pyi 缓存落盘改增量构建，Phase2 新增 vpi 不再全量重建 
- _BuildPyiCacheFile 原每次签名变化（Phase2 过程新增 include .vpi）都全量 ast.parse 所有 vpi（prof 43 次 × 0.28s = 12.2s）
- 增量：加载旧 pkl，按 (basename, size, mtime) 复用未变化文件的 vast 树，只 parse 新增/变化文件
- 验证：147 个 vpi 新增 1 文件时仅 0.006s（原全量需数秒）；无旧 pkl 时自然退化为全量
 2026-08-18 07:27:02 +08:00
TermiNexus e3886a244d perf(compile): 批次加权分桶消除长尾 + 共享符号表去重复序列化 + typedef 收集走 AST 缓存 
- Phase2 批次切分：原按文件数均分（batch_size=ceil(N/n)），大文件集中批次拖长尾、worker 空等；改为按源文件大小 LPT 贪心分桶，各批次总成本均匀（任务颗粒度不均匀）
- 共享符号表序列化：shared_data 同时含 symbol_table 对象与 symbol_table_bytes 双重序列化（_shared_sym.json 4.65MB 近半冗余）；统一为仅传 symbol_table_bytes，worker/批次端从字节反序列化（includes 与 App 两阶段同步修改）
- Phase1 _collect_typedef_map / _process_file_pyi：直读+ast.parse 改为 parse_python_file mtime AST 缓存，Phase1 内重复收集与 Phase2 主进程解析共享同一缓存
 2026-08-18 05:36:12 +08:00
TermiNexus b760082be8 perf(compile): pyi 树 pickle 落盘 + worker initializer 预热，消除进程间重复 parse 
43 个 worker 任务分 ~16 个 spawn 进程，每进程重新 parse 全部依赖
.vpi（4479 次 vast.parse、245s）。主进程把 temp 下全部 .vpi 的 vast
AST 树 pickle 落盘 temp/_pyi_cache_v1.pkl（签名=(名,size,mtime)，
变化才重建），两处 ProcessPoolExecutor 加 initializer 预热 ImportHandle
类级 _pyi_cache（优先 pickle.load，失败回退逐文件 parse）。
TPC_WORKER_WARMUP=0 可关闭对比。预计进程内首次解析尖峰降为一次 load。
 2026-08-17 23:27:44 +08:00
TermiNexus 50c0703afd feat(profiling): worker 进程导出 cProfile——TPC_WORKER_PROF 环境变量开关 
主进程 cProfile 只能看到进程池等待（WaitForMultipleObjects/as_completed
约 280s），看不到 worker 进程内部 CPU 分布（vast parse 等真实热点）。
新增 _ProfileWorker 装饰器包裹 _parallel_translate_worker 与
_parallel_translate_batch：设置环境变量 TPC_WORKER_PROF 为输出目录时，
每个任务导出 worker_prof_{pid}_{seq}.prof（可用 pstats 合并分析）；
未设置时零开销（原样返回函数）。
 2026-08-17 22:42:14 +08:00
TermiNexus c2b04f5026 fix(compile): _LoadSha1Map 缓存补充只加载当前编译有效 sha1，修 9026a429f5e2d0e0.new_builder undefined symbol 
.transpyc_cache 残留旧版 llvmlite/__builder.vp 的 9026a429f5e2d0e0.pyi/
.stub.ll（当前版本是 d9b3d06934cd1898）。_LoadSha1Map 从全局缓存补充
temp 缺失文件时不检查 sha1 有效性，把旧版 .vpi/.stub.ll 也加载进
sig_files/stub_files → 同名类 IRBuilder 按旧 sha1 前缀注册 →
new_builder 用 9026a429f5e2d0e0 前缀拼接，链接 undefined symbol。
补充逻辑移到 sha1_map 加载之后，仅补充 sha1_map 中存在的 sha1。
 2026-08-17 21:51:21 +08:00
TermiNexus ecdb5c34c5 Revert "refactor(compile): 完全去除多进程，翻译/编译全部改顺序阻塞执行" 
This reverts commit 15e8bc7c7d.
 2026-08-17 20:28:24 +08:00
TermiNexus 15e8bc7c7d refactor(compile): 完全去除多进程，翻译/编译全部改顺序阻塞执行 
ProcessPoolExecutor 批次/波次子任务模型导致跨模块 struct 类型前缀错位
（7cadfe07e983fd90.Translator != 6ccfee1e5bd522ed.Translator，见 1.log），
且 cProfile 墙钟被进程池等待支配（223s 中 173s 耗在 WaitForMultipleObjects）。
删除 _parallel_translate_worker/_parallel_translate_batch、_executor_pool
及两处 llc ThreadPoolExecutor，App/includes 翻译按依赖拓扑顺序阻塞翻译，
llc 编译逐文件阻塞执行，消除 pickle 序列化共享符号表与进程池等待开销。
 2026-08-17 20:22:45 +08:00
TermiNexus f66e119d1f perf(compile): App 翻译改批次子任务模型（多文件/任务 + 每文件重置 SymbolTable） 
原"一文件一任务"：200+ 文件每个都经 ProcessPool 调度 + worker 内创建 Phase2Translator + pickle.load 全部共享数据。改为批次模型：need_translate 按 worker 数分块，每 worker 一个批次子任务——Phase2Translator 创建 + pickle.load 仅一次，批内顺序翻译。

防污染：SymbolTable 是编译期唯一被写的共享对象，dump 时额外存 symbol_table_bytes（独立 pickle），批内每文件前 pickle.loads 出干净副本，前文件 import 写入不残留后文件（避免 7cadfe07e983fd90 类前缀错位）。includes 阶段保持拓扑单文件任务不变。
 2026-08-17 20:01:33 +08:00
TermiNexus a28aacda0b fix(compile): 回退 worker 进程级复用，消除共享 SymbolTable 跨文件污染 
复用后同一 worker 的 trans 处理多文件，_translate_file 编译过程会向共享 SymbolTable 写入符号（import insert/类注册），前文件符号污染后文件 → 跨模块 struct 类型前缀错位（7cadfe07e983fd90 即 _list 前缀混入 CompilerFactory/Translator/File，Type of #1 arg mismatch）。每任务从 pickle 反序列化独立副本（原实现）。

收益评估：worker 复用仅省 pickle.load ~0.5s/次 × 每 worker 12 次 ≈ 6s 并行墙钟，远小于 worker 内翻译计算（百秒级），不值得以正确性为代价。n_workers 满核优化保留。
 2026-08-17 19:58:28 +08:00
TermiNexus 3aebf402bb perf(compile): worker 进程级复用 Phase2Translator，消除每文件重复 pickle.load 
cProfile 显示 ~163s 墙钟在 ProcessPool 等待（非计算）。App 阶段 200+ 文件分散到 worker，原实现每个任务都新建 Phase2Translator 并 pickle.load 2.5MB 共享符号表（_shared_sym.json）→ 每 worker 12+ 次重复反序列化。

- _parallel_translate_worker 增加进程级缓存：以 shared_sym_pickle_path 为 key，首次遇到才创建 trans + 加载 pickle，后续任务直接复用 trans._translate_file
- _translate_file 每次新建内部 TransPyC 且对 self 的写均为覆盖型（translator 引用/错误栈），复用安全
- App/includes 两阶段 pickle 路径不同，key 变化时每 worker 各自重建一次
 2026-08-17 19:04:22 +08:00
TermiNexus 58ce673f01 perf(compile): TPC 编译提速——并行 worker 满核 + vast 解析器热点优化 
cProfile 分析（206s 全量重编译 TPV）：~163s 为 ProcessPool 等待（16 核机器仅用 8 worker），vast.parse 35.9s（1231 次）为最大 Python 计算热点。

- Phase2Translator：4 处 n_workers 上限 8 → os.cpu_count()（16 核满负荷），并行翻译/llc 编译利用率翻倍
- vast/Tokenizer._PosInfo：isascii 快速路径 + 行索引增量查找（~300 万次调用，免每次 bisect+encode）
- vast/Tokenizer._EmitOp：运算符按首字符分组，58 万次调用从 42 项全表 startswith 降到 2-3 项
- vast/Tokenizer._ScanName：内联 _IsIdentPart（70 万次循环免函数调用）
- Projectrans/Utils：find_reachable 用 deque + 后缀索引替代 pop(0)/全表扫描；topological_sort 用反向邻接表 + heapq 替代每轮 sort+全图扫描
 2026-08-17 18:56:55 +08:00
TermiNexus 6fc9e19e24 feat(vast): 新增自研 Viper/Python 语法解析器取代标准库 ast 
TPC 侧取缔对 Python 标准库 ast 模块的依赖，改用 lib/vast 包：
- Nodes: 与 CPython 3.12 ast 完全同构的 131 个节点类(含抽象基类继承)
- Tokenizer: 词法分析(缩进/字符串/f-string/数字/运算符/软关键字)
- ExprParser: 表达式递归下降解析(优先级/lambda/推导式/f-string/切片)
- Parser: 语句解析(def/class/if/for/try/with/match/import/注解)
- Utils/Unparser: walk/dump/unparse/copy_location/literal_eval 等辅助
- 软关键字 fn/fun/func/function 并入解析器, 废除 ExpandSoftKeywords 预处理
- lib/_bootstrap 将 lib 目录加入 sys.path, import vast as ast 零修改替换
- 52 个文件 import ast 替换为 import vast as ast; 94 文件差分测试 0 失败
 2026-08-17 09:36:38 +08:00
TermiNexus 9b190ac73e fix(TPC): --asan 假生效修复 —— opt -passes=asan 需先 forceattrs 加 sanitize_address 属性（LLVM>=20 只插桩带属性函数） 2026-08-15 13:25:12 +08:00
TermiNexus d2d319eb21 fix(includes): ASan 集成支持 + 越界写封堵 + TypePrint 类型名截断 40→255 
1. Phase2Translator 增加 TPC_ASAN 支持(opt asan 插桩+链接 -fsanitize=address)，配合 clang64 定位 0xbe 崩溃。2. llvmlite/memhub/viperio/viperlib 多处理无界 strcpy/strcat/下溢/递归守卫/栈数组钳制。3. memhub alloc 块尾 canary(MEMBUDDY_CANARY)+check_alive_blocks 校验+chk_stack realloc 扩容。4. TypePrint Ptr(Struct) 类型名截断上限 40→255：含 sha1 前缀类型名(如 bbdf3bbd4c3bc28c.CONSOLE_SCREEN_BUFFER_INFO=42)被截断产生未定义类型引用(llc undefined type)。
 2026-08-10 18:09:13 +08:00
TermiNexus cfc30d735c 将 .py 和 .pyi 后缀名改为了 .vp 和 .vpi 后缀名 2026-07-30 16:33:56 +08:00
TermiNexus 3633be1995 Some simple information syncing 2026-07-28 21:08:58 +08:00
TermiNexus 1837339f69 修正了一些错误 2026-07-26 20:32:26 +08:00
TermiNexus ca7c2120b8 修正了种子编译器的错误 2026-07-22 21:55:36 +08:00
t 796222a300 snapshot before regression test 2026-07-18 19:25:40 +08:00