 TermiNexus
|
e25095da43
|
perf(vast): _At 内联 _Peek(0) 缓存逻辑 + Node 构造 __dict__ 直写
_At 被调用 1384 万次，每次经 _Peek 再取 token；内联 _Peek(0) 缓存
（_PeekCacheIdx/_PeekCacheTok）省 2300 万次函数调用，实测单文件解析
端到端提速 ~37%。_Init 的 setattr 改 __dict__ 直写（AST 节点无
__slots__/property，行为等价）。vast 差分测试 51/53 PASS 0 FAIL。
|
2026-08-17 22:20:28 +08:00 |
|
|
TermiNexus
|
7e710d1e9a
|
perf(vast): _Peek(0) 增加游标缓存，命中率 87% 降低解析热点开销
TokenStream._Peek 是 cProfile 最大热点（1588 万次调用，累计 4.86s）。
递归下降解析常在同一游标位置重复窥视（_At/_AtOp/_AtName 等），
增加 _PeekCacheIdx/_PeekCacheTok 字段缓存最近一次 offset=0 结果，
命中时跳过 len() 与列表索引；游标移动后 Idx 失配自然失效。
实测大文件解析命中率 87.1%（6503 次调用仅 717 次真实访问），
vast 差分测试 51/53 通过、0 FAIL，正确性无回归。
|
2026-08-17 20:29:34 +08:00 |
|
|
TermiNexus
|
d7213d2197
|
fix(vast): 修复 Tokenizer 行号登记与 import/f-string 位置属性与 CPython 不一致
- _ScanStringBody 三引号内引号对 Pos+=1 后未 continue，双重自增
跳过一个字符，若恰为换行则漏登 _LineStarts 行首，导致其后所有
行号偏移 -1、字面量 col_offset 超行尾，TPC 引号判断失败将
单引号单字符误推断为 i8*（1.LOG 编译错误根因）
- alias 节点位置改为名称起始（asname 结束），与 CPython 一致
- f-string 内部表达式绝对偏移补上 FSTRING token 源码起始
|
2026-08-17 10:08:43 +08:00 |
|
|
TermiNexus
|
6fc9e19e24
|
feat(vast): 新增自研 Viper/Python 语法解析器取代标准库 ast
TPC 侧取缔对 Python 标准库 ast 模块的依赖，改用 lib/vast 包：
- Nodes: 与 CPython 3.12 ast 完全同构的 131 个节点类(含抽象基类继承)
- Tokenizer: 词法分析(缩进/字符串/f-string/数字/运算符/软关键字)
- ExprParser: 表达式递归下降解析(优先级/lambda/推导式/f-string/切片)
- Parser: 语句解析(def/class/if/for/try/with/match/import/注解)
- Utils/Unparser: walk/dump/unparse/copy_location/literal_eval 等辅助
- 软关键字 fn/fun/func/function 并入解析器, 废除 ExpandSoftKeywords 预处理
- lib/_bootstrap 将 lib 目录加入 sys.path, import vast as ast 零修改替换
- 52 个文件 import ast 替换为 import vast as ast; 94 文件差分测试 0 失败
|
2026-08-17 09:36:38 +08:00 |
|