 TermiNexus
|
e3886a244d
|
perf(compile): 批次加权分桶消除长尾 + 共享符号表去重复序列化 + typedef 收集走 AST 缓存
- Phase2 批次切分：原按文件数均分（batch_size=ceil(N/n)），大文件集中批次拖长尾、worker 空等；改为按源文件大小 LPT 贪心分桶，各批次总成本均匀（任务颗粒度不均匀）
- 共享符号表序列化：shared_data 同时含 symbol_table 对象与 symbol_table_bytes 双重序列化（_shared_sym.json 4.65MB 近半冗余）；统一为仅传 symbol_table_bytes，worker/批次端从字节反序列化（includes 与 App 两阶段同步修改）
- Phase1 _collect_typedef_map / _process_file_pyi：直读+ast.parse 改为 parse_python_file mtime AST 缓存，Phase1 内重复收集与 Phase2 主进程解析共享同一缓存
|
2026-08-18 05:36:12 +08:00 |
|
|
TermiNexus
|
5692e9b097
|
perf(stubgen): pyi 转换加缓存——convert 纯函数缓存 + Phase1 mtime 缓存
Converter.convert 147 次调用 45s、_process_file_pyi 98 次 50s。convert
按 (内容, 模块名) 纯函数缓存并合并内部两次 ast.parse；Phase1 按
(绝对路径, 模块名)+mtime+size 缓存 pyi 转换结果与 docstrings，未变化
跳过 open+read+parse。缓存上限 4096 条防内存膨胀，配置变更时清空。
|
2026-08-17 22:20:28 +08:00 |
|
|
TermiNexus
|
58ce673f01
|
perf(compile): TPC 编译提速——并行 worker 满核 + vast 解析器热点优化
cProfile 分析（206s 全量重编译 TPV）：~163s 为 ProcessPool 等待（16 核机器仅用 8 worker），vast.parse 35.9s（1231 次）为最大 Python 计算热点。
- Phase2Translator：4 处 n_workers 上限 8 → os.cpu_count()（16 核满负荷），并行翻译/llc 编译利用率翻倍
- vast/Tokenizer._PosInfo：isascii 快速路径 + 行索引增量查找（~300 万次调用，免每次 bisect+encode）
- vast/Tokenizer._EmitOp：运算符按首字符分组，58 万次调用从 42 项全表 startswith 降到 2-3 项
- vast/Tokenizer._ScanName：内联 _IsIdentPart（70 万次循环免函数调用）
- Projectrans/Utils：find_reachable 用 deque + 后缀索引替代 pop(0)/全表扫描；topological_sort 用反向邻接表 + heapq 替代每轮 sort+全图扫描
|
2026-08-17 18:56:55 +08:00 |
|
|
TermiNexus
|
6fc9e19e24
|
feat(vast): 新增自研 Viper/Python 语法解析器取代标准库 ast
TPC 侧取缔对 Python 标准库 ast 模块的依赖，改用 lib/vast 包：
- Nodes: 与 CPython 3.12 ast 完全同构的 131 个节点类(含抽象基类继承)
- Tokenizer: 词法分析(缩进/字符串/f-string/数字/运算符/软关键字)
- ExprParser: 表达式递归下降解析(优先级/lambda/推导式/f-string/切片)
- Parser: 语句解析(def/class/if/for/try/with/match/import/注解)
- Utils/Unparser: walk/dump/unparse/copy_location/literal_eval 等辅助
- 软关键字 fn/fun/func/function 并入解析器, 废除 ExpandSoftKeywords 预处理
- lib/_bootstrap 将 lib 目录加入 sys.path, import vast as ast 零修改替换
- 52 个文件 import ast 替换为 import vast as ast; 94 文件差分测试 0 失败
|
2026-08-17 09:36:38 +08:00 |
|
|
TermiNexus
|
cfc30d735c
|
将 .py 和 .pyi 后缀名改为了 .vp 和 .vpi 后缀名
|
2026-07-30 16:33:56 +08:00 |
|
|
TermiNexus
|
1837339f69
|
修正了一些错误
|
2026-07-26 20:32:26 +08:00 |
|
|
TermiNexus
|
ca7c2120b8
|
修正了种子编译器的错误
|
2026-07-22 21:55:36 +08:00 |
|
|
TermiNexus
|
135aa05485
|
尝试进行 Qt 测试，增加了 AI 人机调试工具 _console，以及 TransPyV 进行修正
|
2026-07-21 14:41:22 +08:00 |
|
|
t
|
796222a300
|
snapshot before regression test
|
2026-07-18 19:25:40 +08:00 |
|