TermiNexus b18d57fa38 perf(全仓库/正则): 字面量正则全部改模块级预编译常量(15 文件 / 115 个调用点)
背景(prof 基线 PROF/20260930_224857,主进程 433.69s):正则这一族合计 ≈45s ——
`re.match`(未预编译入口)被调 1970 万次 / 自身 10.70s、它内部 `Pattern.match` 占 8.06s,
`re._compile`(缓存查找)1975 万次 / 7.19s,`re._make`(真正编译)274 万次 / 7.62s
(说明 re 的 512 条缓存已被打穿,每 7 次调用就有 1 次重新编译)。
每次 `re.match(字面量, s)` 都要做"模式串哈希 → 缓存查找";预编译后这层全省掉。

改动:把 15 个文件里 97 处"字面量当模式"的 `re.match/search/sub/subn/fullmatch/
findall/finditer/split(...)` 提升为模块级 `_RE_*: re.Pattern[str] = re.compile(...)`,
共 115 个调用点(含同字面量跨处共用)。模式串与 flags 一字未改(flags 从调用处
搬进 re.compile,含原先以**位置参数**传入的 flags)。4 处拼接型动态模式按设计不动
(FuncGen 2 处、HandlesImports 2 处)。

核验(不靠肉眼):写了 AST 指纹对拍脚本,对每个文件取 HEAD 版与新工作区版,把
"旧 re.<m>(字面量, 其余实参, 关键字) + flags" 与 "新 _RE_X.<m>(实参, 关键字) +
常量 (模式, flags)" 做多重集比对 —— 15 个文件、115 个调用点全部逐一等价(0 失败),
另查无重名常量、无遗留字面量调用、GetDiagnostics 全空。
对拍过程中查出一处子代理抄写错误:`_RE_GLOBAL_DSOLOCAL_MULTILINE` 丢了行首锚 `^`
(原文注释明确"使用 ^ + MULTILINE 避免匹配字符串常量内容中的 define/declare"),已修正。

同轮经查证后**未做改动**的两项(避免把假热点当真事修):
- VLogger 的 `re.sub` 6.43s:profile 当时的 VLogger 版本里根本没有 `import re`
  (`git show 3658ab06:lib/core/VLogger.py` 已确认),属 C 帧错挂,不做。
- tokenize 274 万次:那是 `_generate_tokens_from_c_tokenizer` 的 **token 产出次数**
  (≈350 个整文件的词法量),SymbolUtils 的 4 个 tokenize 调用点 nc 仅数百,且已有
  `_EXPAND_CACHE` 去重;再加一层 token 缓存无收益,不做。
2026-09-30 23:47:36 +08:00
2026-09-09 14:46:41 +08:00
2026-09-09 14:46:41 +08:00
2026-07-18 19:25:40 +08:00
2026-07-18 19:25:40 +08:00

TransPyC

TransPyC 是一种基于 Python 语法的系统级编程语言编译器,将 Python 子集(通过 t/c 模块类型注解赋予 LLVM 语义)编译为原生机器码。它不是 Python 的子集,也不是 C 的语法糖——它拥有独立的类型系统、两阶段编译模型和 SHA1 命名空间机制,适用于操作系统内核、嵌入式系统、驱动程序等底层开发场景。

能力证明

TransPyC 已用自身实现以下组件,证明其作为系统级语言的成熟度:

  • ViperOS —— 真实操作系统内核(ViperOS/),含 gdt/idt/isr/mm/sched,可在 QEMU 启动
  • 自研 Python 解析器 —— includes/ast/(4,176 LOC),用 TransPyC 自己写的词法+语法+AST,覆盖 CPython 几乎全部语法
  • 自研 LLVM IR 生成库 —— includes/llvmlite/(~1,500 LOC),用 TransPyC 自己写的 IR 文本生成器,18/18 测试通过
  • zlib 移植 —— Test/ZlibTest/,完整 deflate/inflate/huffman/checksum(~1,900 LOC)
  • Win32 FFI 绑定 —— includes/w32/,file/memory/process/sync/console 全覆盖
  • 泛型容器 —— includes/linkedlist.vp,@t.NoVTable + PEP 695 递归泛型继承 class GNode(GSListNode[GNode])

核心设计理念

  • Python 语法,LLVM 语义:源文件是合法的 Python 语法,但通过 t 模块类型注解赋予 LLVM 级别的语义
  • 类型注解即编译指令:类型注解决定 LLVM IR 的生成,不是可选的提示
  • 两阶段编译:先提取声明接口(.vpi + .stub.ll),再翻译源文件为含代码的 .ll
  • SHA1 命名空间:每个源文件按内容 SHA1 哈希命名,自动消除跨模块符号冲突
  • 零运行时开销:编译为原生代码,无 GC、无解释器、无虚拟机

自举进展

TransPyC 正在追求完全自举——用 TransPyC 重写 TransPyC 编译器自身。当前状态:

  • ✅ 前端:includes/ast/ 已替代 Python ast 模块依赖
  • ✅ 后端:includes/llvmlite/ 已替代 Python llvmlite 依赖
  • ⏳ 中间层:lib/core(~20K LOC)待用 TransPyC 重写

详见 wiki/13-bootstrapping.md。

模块总览

Viper 语言通过两个核心模块提供类型和操作支持:

模块 用途 导入方式
t 类型定义系统 import t
c C 语言操作指令 import c

快速上手

  1. 环境:Python 3.12+、LLVM(llc/clang)、Windows(当前主平台)
  2. 构建项目:在项目目录运行 python ../Projectrans.py build(详见 wiki/12-project.md)
  3. 示例:参考 Test/ 下 30+ 测试项目(AstTest/ZlibTest/NoVTableTest/LLvmLiteTest 等)
  4. 写第一个程序:
import t, c
from stdint import *
import stdio

def main() -> CInt | CExport:
    stdio.printf("Hello, Viper!\n")
    return 0

文档索引

文件 内容
01-overview.md 语言概述、两阶段编译流程、SHA1 命名空间、t.CDefine/t.CExport/t.CInline 深度解析
02-type-system.md 类型系统(基本类型、指针、数组、结构体、联合体、枚举、typedef、__attribute__)
03-variables.md 变量声明与赋值(含 t.CDefine 常量)
04-functions.md 函数定义与调用(含 t.CExport、t.CInline、t.CDefine 函数、-> tuple[...] 多返回值)
05-classes.md 类与数据布局(结构体、联合体、枚举、typedef、位域)
06-oop.md 面向对象与运算符重载(@t.Object、@t.CVTable、@t.NoVTable、继承、dunder 方法)
07-control-flow.md 控制流(条件、循环、match)
08-c-operations.md C 语言操作(指针、内联汇编、FFI 外部函数声明、LLVM IR 内联)
09-exceptions.md 异常处理
10-imports.md 模块与导入系统(存根生成、SHA1 命名空间与导入)
11-builtins.md 内置函数与运算符
12-project.md 项目配置与构建(增量编译、SHA1 映射)
13-bootstrapping.md 自举可行性分析(当前进展、剩余工作、路径规划)
S
Description
A new language using Python syntax that achieves the speed of C/C++ and the ease of use of Python.
Readme
44 MiB
0 Stars 1 Watchers 0 Forks
Languages
Python 93.7%
C 6.3%