perf(tpc): 按 profile 消掉两处主热点（stub 索引每 miss 重扫目录 / vtable 每类全扫函数）
依据 PROF/main_prof_10152.prof（main_time.txt: 失败 2362.46s，72 个文件全部走
顺序 _translate_file，tottime 合计 2288.9s）:
tottime calls 函数
491.7s 723782 nt._path_isdir ← 总时长 21%
268.6s 15762 StructGen._generate_structs
182.9s 479819 nt.listdir ← 8%
87.2s 657640754 builtins.isinstance
78.6s 41514263 ntpath.join
75.9s 83047878 ntpath.splitroot
75.7s 1631 StructGen._create_Vtable_globals （46ms/次）
66.6s 238007 HandlesImports._build_stub_index
63.0s 317868145 str.startswith
38.4s 175751378 str.endswith
...
── 仅 isdir + listdir + join/splitroot/endswith ≈ 850s ≈ 总时长的 37%
一、_build_stub_index 的零 syscall 快路径（HandlesImports + Phase2Translator）
它由 _TryLoadStructFromStub 的**每次索引 miss** 调用（238k 次），每次都要
2× os.path.isdir + 2× os.listdir + 全量 endswith/join 重拼文件集合 ——
这正是上面 isdir 723k / listdir 479k 的主要来源。
改为：写入方显式置脏（ImportHandle.MarkStubSetDirty），未置脏时直接返回。
置脏点：① 每个文件翻译入口（_translate_file，顺序与 worker 模式皆按文件粒度
覆盖）② 写 temp/<sha1>.stub.ll 之后 ③ 注册 include 写 output/<sha1>.stub.ll
之后。索引建完即清脏。语义：增量重扫、output 覆盖 temp 全部不变，只是把
"集合是否变化"由目录扫描改为写入方免费告知（编译进程内 stub 只增不改）。
二、_create_Vtable_globals 的 O(类数 × 函数数) → O(函数数)
原实现对每个候选类都遍历一遍 self.functions 找 "{ClassName}." 前缀且非
declare 的函数；改为一次性预计算"非 declare 函数名的全部点分前缀"集合，
每类只做一次集合查询。判据等价（startswith(prefix) ⟺ prefix 在点分前缀集）。
重编后请再抓一次 profile 复核收益；下一梯队热点是 _generate_structs
（268.6s tottime / 35k 次调用）与 _parse_llvm_type（3.5M 次调用）。
This commit is contained in:
TermiNexus committed
1 parent
f1e7fd6c28
commit
4fc067e3bf
3 files changed
+58
-11
No files matched your search
@@ -1876,6 +1876,11 @@ class Phase2Translator:
|
||||
不会污染共享缓存。
|
||||
"""
|
||||
_t0: float = time.time()
|
||||
# 每个文件翻译入口置脏：本文件/其它文件在此之间新写的 *.stub.ll 全部可见
|
||||
# （ImportHandle._build_stub_index 的零 syscall 快路径据此判断是否重扫目录；
|
||||
# 顺序模式与 worker 模式的每文件粒度皆覆盖，见 MarkStubSetDirty）。
|
||||
from lib.core.Handles.HandlesImports import ImportHandle as _IH
|
||||
_IH.MarkStubSetDirty()
|
||||
with open(src_path, 'r', encoding='utf-8') as f:
|
||||
code = f.read()
|
||||
|
||||
@@ -2149,6 +2154,9 @@ class Phase2Translator:
|
||||
base = os.path.splitext(out_path)[0]
|
||||
with open(base + '.stub.ll', 'w', encoding='utf-8', newline='\n') as f:
|
||||
f.write(stub_content)
|
||||
# 新 stub 已落盘 → 置脏，使本文件后续（及下个文件）的索引 miss 能重扫到它
|
||||
from lib.core.Handles.HandlesImports import ImportHandle as _IH2
|
||||
_IH2.MarkStubSetDirty()
|
||||
with open(base + '.text.ll', 'w', encoding='utf-8', newline='\n') as f:
|
||||
f.write(text_content)
|
||||
self._save_deps(sha1, ModuleSha1Map)
|
||||
@@ -3870,6 +3878,10 @@ class Phase2Translator:
|
||||
# 注册到 stub_files
|
||||
if _CachedIsFile(stub_path):
|
||||
self.stub_files[sha1] = stub_path
|
||||
# output/<sha1>.stub.ll 存在（本步刚落盘或从全局缓存拷入）→ 置脏，
|
||||
# 让后续索引 miss 重扫到新增的 *.stub.ll（见 _build_stub_index 快路径）
|
||||
from lib.core.Handles.HandlesImports import ImportHandle as _IH3
|
||||
_IH3.MarkStubSetDirty()
|
||||
elif _CachedIsFile(sig_path):
|
||||
# 如果 stub 文件不存在，也尝试从 temp 目录查找
|
||||
temp_stub = os.path.join(self.temp_dir, f"{sha1}.stub.ll")
|
||||
|
||||
@@ -161,10 +161,25 @@ class ImportHandle(BaseHandle):
|
||||
_stub_func_cache: dict[str, tuple[str, str, bool, str]] = {}
|
||||
_stub_func_cache_signature: tuple[int, int] | None = None
|
||||
_stub_func_scanned: set[str] = set()
|
||||
# stub 文件集合自上次建索引以来是否**可能**变化（写 *.stub.ll 的一方显式置脏）。
|
||||
# 见 MarkStubSetDirty / _build_stub_index 的零 syscall 快路径：原实现每次
|
||||
# _TryLoadStructFromStub 索引 miss 都要 2× os.path.isdir + 2× os.listdir 重新
|
||||
# 拼文件集合（profile：_build_stub_index 被调 238k 次；nt._path_isdir 491s +
|
||||
# nt.listdir 183s ≈ 总时长 30%），而"集合是否变化"完全可以由写入方免费告知。
|
||||
_stub_set_dirty: bool = True
|
||||
# 目录 → (listdir 时的目录 mtime_ns, 该次统计出的 *.stub.ll 数量)。
|
||||
# 键为目录绝对路径：temp/ 与 output/ 分别计缓存。见 _CountStubFilesInDir。
|
||||
_stub_dir_count_cache: dict[str, tuple[int, int]] = {}
|
||||
|
||||
@classmethod
|
||||
def MarkStubSetDirty(cls) -> None:
|
||||
"""标记「stub 文件集合可能已变化」——**所有写 *.stub.ll 的一方都必须调用**。
|
||||
|
||||
调用点多在 Phase2Translator：每个文件翻译入口（跨文件新增一律可见）、
|
||||
写 temp/<sha1>.stub.ll 之后、注册 include 写 output/<sha1>.stub.ll 之后。
|
||||
"""
|
||||
ImportHandle._stub_set_dirty = True
|
||||
|
||||
def __init__(self, translator: "Translator") -> None:
|
||||
super().__init__(translator)
|
||||
# 实例级去重集合：每个 translator 独立跟踪已加载的 .pyi 和已发射的模块声明。
|
||||
@@ -2603,7 +2618,16 @@ class ImportHandle(BaseHandle):
|
||||
增量策略：记录已解析文件集合 _stub_index_scanned，单次编译进程内
|
||||
stub 文件只增不减（output 逐步填充），只增量解析新增文件；
|
||||
无新增文件时仅做一次目录集合比较即返回（省去原签名失效后的全量重扫）。
|
||||
|
||||
零 syscall 快路径：本函数由 _TryLoadStructFromStub 的**每次索引 miss**
|
||||
调用（profile：238k 次），而"stub 集合是否变化"由写入方显式置脏
|
||||
（见 MarkStubSetDirty）⇒ 未置脏时直接返回，不再做
|
||||
2× isdir + 2× listdir + 全量 endswith/join（这三项在 profile 里合计
|
||||
约占总时长 30%：nt._path_isdir 491s、nt.listdir 183s、
|
||||
np.join/splitroot/endswith ≈ 180s）。
|
||||
"""
|
||||
if not ImportHandle._stub_set_dirty:
|
||||
return
|
||||
ProjectRoot = self._find_project_root()
|
||||
temp_dir = os.path.join(ProjectRoot, 'temp')
|
||||
output_dir = os.path.join(ProjectRoot, 'output')
|
||||
@@ -2619,8 +2643,9 @@ class ImportHandle(BaseHandle):
|
||||
if filename.endswith('.stub.ll'):
|
||||
current_files.add(os.path.join(scan_dir, filename))
|
||||
|
||||
# 无新增文件 → 索引最新，直接返回
|
||||
# 无新增文件 → 索引最新，清脏（下次 miss 走零 syscall 快路径）
|
||||
if current_files <= self._stub_index_scanned:
|
||||
ImportHandle._stub_set_dirty = False
|
||||
return
|
||||
|
||||
# 只增量解析新增文件（首次调用时全量）
|
||||
@@ -2653,7 +2678,9 @@ class ImportHandle(BaseHandle):
|
||||
if _config_mode == "strict":
|
||||
raise
|
||||
_vlog().warning(f"构建 stub 索引失败: {_e}", "Exception")
|
||||
self._stub_index_scanned.add(stub_path)
|
||||
self._stub_index_scanned.add(stub_path)
|
||||
# 增量解析完成 → 索引与目录一致，清脏（下次 miss 走零 syscall 快路径）
|
||||
ImportHandle._stub_set_dirty = False
|
||||
|
||||
@staticmethod
|
||||
def _ExternDeclEmitting(Gen: LlvmGeneratorMixin, class_name: str, source_sha1: str | None) -> bool:
|
||||
|
||||
@@ -704,6 +704,20 @@ class StructGenMixin:
|
||||
struct_type.set_body(*member_types)
|
||||
|
||||
def _create_Vtable_globals(self) -> None:
|
||||
# 「本模块有定义（非 declare）」的函数名所蕴含的全部**点分前缀**集合。
|
||||
# 一次 O(函数数) 预计算替代原实现"每个候选类都遍历全部函数"的
|
||||
# O(类数 × 函数数)（profile：tottime 75.7s / 1631 次调用 ≈ 46ms per call，
|
||||
# 因为它对每个跨模块类都要把 self.functions 全扫一遍）。
|
||||
# 判据等价：原 `func_name.startswith(f"{ClassName}.") 且非 declare` ⟺
|
||||
# `f"{ClassName}."` 出现在某个非 declare 函数名的点分前缀集合里。
|
||||
_local_prefixes: set[str] = set()
|
||||
for _fn, _fo in self.functions.items():
|
||||
if getattr(_fo, 'is_declaration', False):
|
||||
continue
|
||||
_i: int = _fn.find('.')
|
||||
while _i != -1:
|
||||
_local_prefixes.add(_fn[:_i + 1])
|
||||
_i = _fn.find('.', _i + 1)
|
||||
for ClassName, methods in self.class_methods.items():
|
||||
if ClassName in self.Vtables:
|
||||
continue
|
||||
@@ -726,15 +740,9 @@ class StructGenMixin:
|
||||
# 若只存在 declare 而无 define，说明本模块未定义该类，虚表应由定义模块创建。
|
||||
# vtable linkage='internal'，跨模块调用通过对象的 vtable 指针（首字段）完成分派，
|
||||
# 不依赖本模块的 vtable 全局变量。
|
||||
has_local_method: bool = False
|
||||
prefix: str = f"{ClassName}."
|
||||
for func_name, func_obj in self.functions.items():
|
||||
if func_name.startswith(prefix):
|
||||
# 跳过跨模块的 declare（无函数体），只考虑本模块定义的函数
|
||||
if not getattr(func_obj, 'is_declaration', False):
|
||||
has_local_method = True
|
||||
break
|
||||
if not has_local_method:
|
||||
# 只考虑本模块定义的函数（define，有函数体）；跨模块 declare 不算
|
||||
# ⇒ _local_prefixes 已按 is_declaration 过滤，此处只查前缀集合。
|
||||
if f"{ClassName}." not in _local_prefixes:
|
||||
continue
|
||||
VtableType: ir.ArrayType = ir.ArrayType(ir.PointerType(ir.IntType(8)), len(methods))
|
||||
Vtable: ir.GlobalVariable = ir.GlobalVariable(self.module, VtableType, name=self._mangle_name(f"{ClassName}_Vtable"))
|
||||
|
||||
Reference in new issue
Block a user