4fc067e3bf64f1393df1d3bdd611e3aa7c37173b
依据 PROF/main_prof_10152.prof(main_time.txt: 失败 2362.46s,72 个文件全部走
顺序 _translate_file,tottime 合计 2288.9s):
tottime calls 函数
491.7s 723782 nt._path_isdir ← 总时长 21%
268.6s 15762 StructGen._generate_structs
182.9s 479819 nt.listdir ← 8%
87.2s 657640754 builtins.isinstance
78.6s 41514263 ntpath.join
75.9s 83047878 ntpath.splitroot
75.7s 1631 StructGen._create_Vtable_globals (46ms/次)
66.6s 238007 HandlesImports._build_stub_index
63.0s 317868145 str.startswith
38.4s 175751378 str.endswith
...
── 仅 isdir + listdir + join/splitroot/endswith ≈ 850s ≈ 总时长的 37%
一、_build_stub_index 的零 syscall 快路径(HandlesImports + Phase2Translator)
它由 _TryLoadStructFromStub 的**每次索引 miss** 调用(238k 次),每次都要
2× os.path.isdir + 2× os.listdir + 全量 endswith/join 重拼文件集合 ——
这正是上面 isdir 723k / listdir 479k 的主要来源。
改为:写入方显式置脏(ImportHandle.MarkStubSetDirty),未置脏时直接返回。
置脏点:① 每个文件翻译入口(_translate_file,顺序与 worker 模式皆按文件粒度
覆盖)② 写 temp/<sha1>.stub.ll 之后 ③ 注册 include 写 output/<sha1>.stub.ll
之后。索引建完即清脏。语义:增量重扫、output 覆盖 temp 全部不变,只是把
"集合是否变化"由目录扫描改为写入方免费告知(编译进程内 stub 只增不改)。
二、_create_Vtable_globals 的 O(类数 × 函数数) → O(函数数)
原实现对每个候选类都遍历一遍 self.functions 找 "{ClassName}." 前缀且非
declare 的函数;改为一次性预计算"非 declare 函数名的全部点分前缀"集合,
每类只做一次集合查询。判据等价(startswith(prefix) ⟺ prefix 在点分前缀集)。
重编后请再抓一次 profile 复核收益;下一梯队热点是 _generate_structs
(268.6s tottime / 35k 次调用)与 _parse_llvm_type(3.5M 次调用)。
TransPyC
TransPyC 是一种基于 Python 语法的系统级编程语言编译器,将 Python 子集(通过 t/c 模块类型注解赋予 LLVM 语义)编译为原生机器码。它不是 Python 的子集,也不是 C 的语法糖——它拥有独立的类型系统、两阶段编译模型和 SHA1 命名空间机制,适用于操作系统内核、嵌入式系统、驱动程序等底层开发场景。
能力证明
TransPyC 已用自身实现以下组件,证明其作为系统级语言的成熟度:
- ViperOS —— 真实操作系统内核(ViperOS/),含 gdt/idt/isr/mm/sched,可在 QEMU 启动
- 自研 Python 解析器 —— includes/ast/(4,176 LOC),用 TransPyC 自己写的词法+语法+AST,覆盖 CPython 几乎全部语法
- 自研 LLVM IR 生成库 —— includes/llvmlite/(~1,500 LOC),用 TransPyC 自己写的 IR 文本生成器,18/18 测试通过
- zlib 移植 —— Test/ZlibTest/,完整 deflate/inflate/huffman/checksum(~1,900 LOC)
- Win32 FFI 绑定 —— includes/w32/,file/memory/process/sync/console 全覆盖
- 泛型容器 —— includes/linkedlist.vp,
@t.NoVTable+ PEP 695 递归泛型继承class GNode(GSListNode[GNode])
核心设计理念
- Python 语法,LLVM 语义:源文件是合法的 Python 语法,但通过
t模块类型注解赋予 LLVM 级别的语义 - 类型注解即编译指令:类型注解决定 LLVM IR 的生成,不是可选的提示
- 两阶段编译:先提取声明接口(
.vpi+.stub.ll),再翻译源文件为含代码的.ll - SHA1 命名空间:每个源文件按内容 SHA1 哈希命名,自动消除跨模块符号冲突
- 零运行时开销:编译为原生代码,无 GC、无解释器、无虚拟机
自举进展
TransPyC 正在追求完全自举——用 TransPyC 重写 TransPyC 编译器自身。当前状态:
- ✅ 前端:
includes/ast/已替代 Pythonast模块依赖 - ✅ 后端:
includes/llvmlite/已替代 Pythonllvmlite依赖 - ⏳ 中间层:
lib/core(~20K LOC)待用 TransPyC 重写
模块总览
Viper 语言通过两个核心模块提供类型和操作支持:
| 模块 | 用途 | 导入方式 |
|---|---|---|
t |
类型定义系统 | import t |
c |
C 语言操作指令 | import c |
快速上手
- 环境:Python 3.12+、LLVM(llc/clang)、Windows(当前主平台)
- 构建项目:在项目目录运行
python ../Projectrans.py build(详见 wiki/12-project.md) - 示例:参考 Test/ 下 30+ 测试项目(AstTest/ZlibTest/NoVTableTest/LLvmLiteTest 等)
- 写第一个程序:
import t, c
from stdint import *
import stdio
def main() -> CInt | CExport:
stdio.printf("Hello, Viper!\n")
return 0
文档索引
| 文件 | 内容 |
|---|---|
| 01-overview.md | 语言概述、两阶段编译流程、SHA1 命名空间、t.CDefine/t.CExport/t.CInline 深度解析 |
| 02-type-system.md | 类型系统(基本类型、指针、数组、结构体、联合体、枚举、typedef、__attribute__) |
| 03-variables.md | 变量声明与赋值(含 t.CDefine 常量) |
| 04-functions.md | 函数定义与调用(含 t.CExport、t.CInline、t.CDefine 函数、-> tuple[...] 多返回值) |
| 05-classes.md | 类与数据布局(结构体、联合体、枚举、typedef、位域) |
| 06-oop.md | 面向对象与运算符重载(@t.Object、@t.CVTable、@t.NoVTable、继承、dunder 方法) |
| 07-control-flow.md | 控制流(条件、循环、match) |
| 08-c-operations.md | C 语言操作(指针、内联汇编、FFI 外部函数声明、LLVM IR 内联) |
| 09-exceptions.md | 异常处理 |
| 10-imports.md | 模块与导入系统(存根生成、SHA1 命名空间与导入) |
| 11-builtins.md | 内置函数与运算符 |
| 12-project.md | 项目配置与构建(增量编译、SHA1 映射) |
| 13-bootstrapping.md | 自举可行性分析(当前进展、剩余工作、路径规划) |
Description
A new language using Python syntax that achieves the speed of C/C++ and the ease of use of Python.
44 MiB
0 Stars
1 Watchers
0 Forks
Languages
Python
93.7%
C
6.3%