 TermiNexus
|
ecdb5c34c5
|
Revert "refactor(compile): 完全去除多进程，翻译/编译全部改顺序阻塞执行"
This reverts commit 15e8bc7c7d.
|
2026-08-17 20:28:24 +08:00 |
|
|
TermiNexus
|
15e8bc7c7d
|
refactor(compile): 完全去除多进程，翻译/编译全部改顺序阻塞执行
ProcessPoolExecutor 批次/波次子任务模型导致跨模块 struct 类型前缀错位
（7cadfe07e983fd90.Translator != 6ccfee1e5bd522ed.Translator，见 1.log），
且 cProfile 墙钟被进程池等待支配（223s 中 173s 耗在 WaitForMultipleObjects）。
删除 _parallel_translate_worker/_parallel_translate_batch、_executor_pool
及两处 llc ThreadPoolExecutor，App/includes 翻译按依赖拓扑顺序阻塞翻译，
llc 编译逐文件阻塞执行，消除 pickle 序列化共享符号表与进程池等待开销。
|
2026-08-17 20:22:45 +08:00 |
|
|
TermiNexus
|
f66e119d1f
|
perf(compile): App 翻译改批次子任务模型（多文件/任务 + 每文件重置 SymbolTable）
原"一文件一任务"：200+ 文件每个都经 ProcessPool 调度 + worker 内创建 Phase2Translator + pickle.load 全部共享数据。改为批次模型：need_translate 按 worker 数分块，每 worker 一个批次子任务——Phase2Translator 创建 + pickle.load 仅一次，批内顺序翻译。
防污染：SymbolTable 是编译期唯一被写的共享对象，dump 时额外存 symbol_table_bytes（独立 pickle），批内每文件前 pickle.loads 出干净副本，前文件 import 写入不残留后文件（避免 7cadfe07e983fd90 类前缀错位）。includes 阶段保持拓扑单文件任务不变。
|
2026-08-17 20:01:33 +08:00 |
|
|
TermiNexus
|
a28aacda0b
|
fix(compile): 回退 worker 进程级复用，消除共享 SymbolTable 跨文件污染
复用后同一 worker 的 trans 处理多文件，_translate_file 编译过程会向共享 SymbolTable 写入符号（import insert/类注册），前文件符号污染后文件 → 跨模块 struct 类型前缀错位（7cadfe07e983fd90 即 _list 前缀混入 CompilerFactory/Translator/File，Type of #1 arg mismatch）。每任务从 pickle 反序列化独立副本（原实现）。
收益评估：worker 复用仅省 pickle.load ~0.5s/次 × 每 worker 12 次 ≈ 6s 并行墙钟，远小于 worker 内翻译计算（百秒级），不值得以正确性为代价。n_workers 满核优化保留。
|
2026-08-17 19:58:28 +08:00 |
|
|
TermiNexus
|
3aebf402bb
|
perf(compile): worker 进程级复用 Phase2Translator，消除每文件重复 pickle.load
cProfile 显示 ~163s 墙钟在 ProcessPool 等待（非计算）。App 阶段 200+ 文件分散到 worker，原实现每个任务都新建 Phase2Translator 并 pickle.load 2.5MB 共享符号表（_shared_sym.json）→ 每 worker 12+ 次重复反序列化。
- _parallel_translate_worker 增加进程级缓存：以 shared_sym_pickle_path 为 key，首次遇到才创建 trans + 加载 pickle，后续任务直接复用 trans._translate_file
- _translate_file 每次新建内部 TransPyC 且对 self 的写均为覆盖型（translator 引用/错误栈），复用安全
- App/includes 两阶段 pickle 路径不同，key 变化时每 worker 各自重建一次
|
2026-08-17 19:04:22 +08:00 |
|
|
TermiNexus
|
58ce673f01
|
perf(compile): TPC 编译提速——并行 worker 满核 + vast 解析器热点优化
cProfile 分析（206s 全量重编译 TPV）：~163s 为 ProcessPool 等待（16 核机器仅用 8 worker），vast.parse 35.9s（1231 次）为最大 Python 计算热点。
- Phase2Translator：4 处 n_workers 上限 8 → os.cpu_count()（16 核满负荷），并行翻译/llc 编译利用率翻倍
- vast/Tokenizer._PosInfo：isascii 快速路径 + 行索引增量查找（~300 万次调用，免每次 bisect+encode）
- vast/Tokenizer._EmitOp：运算符按首字符分组，58 万次调用从 42 项全表 startswith 降到 2-3 项
- vast/Tokenizer._ScanName：内联 _IsIdentPart（70 万次循环免函数调用）
- Projectrans/Utils：find_reachable 用 deque + 后缀索引替代 pop(0)/全表扫描；topological_sort 用反向邻接表 + heapq 替代每轮 sort+全图扫描
|
2026-08-17 18:56:55 +08:00 |
|
|
TermiNexus
|
6fc9e19e24
|
feat(vast): 新增自研 Viper/Python 语法解析器取代标准库 ast
TPC 侧取缔对 Python 标准库 ast 模块的依赖，改用 lib/vast 包：
- Nodes: 与 CPython 3.12 ast 完全同构的 131 个节点类(含抽象基类继承)
- Tokenizer: 词法分析(缩进/字符串/f-string/数字/运算符/软关键字)
- ExprParser: 表达式递归下降解析(优先级/lambda/推导式/f-string/切片)
- Parser: 语句解析(def/class/if/for/try/with/match/import/注解)
- Utils/Unparser: walk/dump/unparse/copy_location/literal_eval 等辅助
- 软关键字 fn/fun/func/function 并入解析器, 废除 ExpandSoftKeywords 预处理
- lib/_bootstrap 将 lib 目录加入 sys.path, import vast as ast 零修改替换
- 52 个文件 import ast 替换为 import vast as ast; 94 文件差分测试 0 失败
|
2026-08-17 09:36:38 +08:00 |
|
|
TermiNexus
|
9b190ac73e
|
fix(TPC): --asan 假生效修复 —— opt -passes=asan 需先 forceattrs 加 sanitize_address 属性（LLVM>=20 只插桩带属性函数）
|
2026-08-15 13:25:12 +08:00 |
|
|
TermiNexus
|
a99f126cfa
|
feat(parser): 支持 Viper 软关键字 fn/fun/func/function 展开为 def
行首缩进+软关键字+空白+标识符形态的函数定义（fn foo(): / function bar()）
展开为 def，行号不变，供 ast.parse 使用；变量名/调用/注解中的 fn 不受影响。
Converter 同步改为 stub 语法错误直接终止（fail-fast），不再生成残缺 vpi
被全局缓存命中后以 undefined symbol 形式爆发。
|
2026-08-13 07:51:21 +08:00 |
|
|
TermiNexus
|
d2d319eb21
|
fix(includes): ASan 集成支持 + 越界写封堵 + TypePrint 类型名截断 40→255
1. Phase2Translator 增加 TPC_ASAN 支持(opt asan 插桩+链接 -fsanitize=address)，配合 clang64 定位 0xbe 崩溃。2. llvmlite/memhub/viperio/viperlib 多处理无界 strcpy/strcat/下溢/递归守卫/栈数组钳制。3. memhub alloc 块尾 canary(MEMBUDDY_CANARY)+check_alive_blocks 校验+chk_stack realloc 扩容。4. TypePrint Ptr(Struct) 类型名截断上限 40→255：含 sha1 前缀类型名(如 bbdf3bbd4c3bc28c.CONSOLE_SCREEN_BUFFER_INFO=42)被截断产生未定义类型引用(llc undefined type)。
|
2026-08-10 18:09:13 +08:00 |
|
|
TermiNexus
|
a39b5da0f8
|
基本稳定
|
2026-08-05 20:11:38 +08:00 |
|
|
TermiNexus
|
cfc30d735c
|
将 .py 和 .pyi 后缀名改为了 .vp 和 .vpi 后缀名
|
2026-07-30 16:33:56 +08:00 |
|
|
TermiNexus
|
3633be1995
|
Some simple information syncing
|
2026-07-28 21:08:58 +08:00 |
|
|
TermiNexus
|
1837339f69
|
修正了一些错误
|
2026-07-26 20:32:26 +08:00 |
|
|
TermiNexus
|
ca7c2120b8
|
修正了种子编译器的错误
|
2026-07-22 21:55:36 +08:00 |
|
|
TermiNexus
|
135aa05485
|
尝试进行 Qt 测试，增加了 AI 人机调试工具 _console，以及 TransPyV 进行修正
|
2026-07-21 14:41:22 +08:00 |
|
|
TermiNexus
|
4e66207ba1
|
重置上传，新增了多个标准库，开始 TransPyV 自举实验
|
2026-07-19 11:38:15 +08:00 |
|
|
t
|
796222a300
|
snapshot before regression test
|
2026-07-18 19:25:40 +08:00 |
|