TermiNexus
7cba4cbc95
注释清理（65 文件 / 约 -2578 行 / 约 516 处）：删除/压缩叙述式历史注释——多行根因叙事、工作代号段（D25/D30/N11/B5/S4/阶段E 等）、改前改后与先例叙述、逐条推导块，压成一行讲清作用信息；契约类注释（用途、参数与返回、关键约束与不变量、IR 结构说明）与被注释掉的代码一律保留 存疑 标记 6 处一字未动：StubMergerStore.vp、VpiReader.vp、VLogger.vp、AssignGenMixin.vp、CallGenLib.vp、CallGenLeafKit.vp 本次一并带入并行会话的代码改动（同批文件，按文件粒度无法拆分）：fileio.File -> rowptr[fileio.File] 等 已知副作用/残留：① CallGenDispatch.vp 有 2 行非注释行的行尾被 LF->CRLF 规范化（纯字节变化，无文本改动）；② core/Gen 区约 24 处压缩因并行会话整文件覆写被写回原样，尚未生效（StmtGenCifMixin/ClassGenVTable/FuncGenDef/ClassGenEnum/StructGenMixin/TypeSpec 等） 清单与复跑判据见 Debugger/comment_cleanup_summary.md（该目录不受版本控制）
378 lines
18 KiB
Plaintext
378 lines
18 KiB
Plaintext
import lib.core.Gen.GenApi as GenApi
|
||
import t, c
|
||
from stdint import *
|
||
import memhub
|
||
import string
|
||
import stdlib
|
||
import llvmlite
|
||
import w32.win32file as win32file
|
||
import w32.win32base as win32base
|
||
import w32.fileio as fileio
|
||
import viperlib
|
||
import sys
|
||
import ast
|
||
import lib.core.VLogger as VLogger
|
||
import lib.core.IncludesScanner as IncludesScanner
|
||
import lib.core.Gen.Translator as HandlesTranslator
|
||
import lib.Phase.BuildPipeline as BuildPipeline
|
||
import lib.Stub.StubGen.VpiReader as VpiReader
|
||
import lib.Projectrans.Utils as Utils
|
||
import lib.Projectrans.Config as Config
|
||
|
||
import lib.Stub.StubMerger.StubMergerCollect as StubMergerCollect
|
||
import lib.Stub.StubMerger.StubMergerStore as StubMergerStore
|
||
import lib.Stub.StubMerger.StubMergerTopo as StubMergerTopo
|
||
import lib.Stub.StubMerger.StubMergerBuild as StubMergerBuild
|
||
import lib.Stub.StubMerger as StubMerger
|
||
|
||
|
||
# ============================================================
|
||
# StubMergerIR - IR 文本去重/注释与模块名-SHA1 映射工具
|
||
# ============================================================
|
||
|
||
# ============================================================
|
||
# IsDeclOnlyModule - 判断模块是否为纯声明文件（读 {temp_dir}/{sha1}.text.ll 扫描是否含 "define " 行）
|
||
#
|
||
# 返回 1 = 纯声明（无函数体，如全 pass 的模块，无需 .obj）；0 = 实现文件（含 define 函数体）；-1 = text.ll 不存在/无法判断。
|
||
# 与 Phase B+ 编译缺失 includes 时的内联判断逻辑一致，供 Phase C 链接时区分「声明文件无需 .obj」与「实现文件缺失」。
|
||
# ============================================================
|
||
def IsDeclOnlyModule(temp_dir: str, td_len: sizet, sha1: str) -> int:
|
||
"""判断模块是否为纯声明文件（text.ll 无 define 行）"""
|
||
if temp_dir is None or sha1 is None:
|
||
return -1
|
||
tpath: str = StubMergerCollect._sliced_path(temp_dir, td_len, sha1, "text.ll")
|
||
if tpath is None:
|
||
return -1
|
||
tf_d: fileio.File = fileio.File(tpath, fileio.MODE.R)
|
||
stdlib.free(tpath)
|
||
if tf_d.closed:
|
||
return -1
|
||
tbuf_d: bytes = stdlib.malloc(StubMerger.STUB_READ_BUF_SIZE)
|
||
tbr_d: int64 = 0
|
||
if tbuf_d is not None:
|
||
tbr_d = tf_d.read_all(tbuf_d, StubMerger.STUB_READ_BUF_SIZE)
|
||
tf_d.close()
|
||
if tbuf_d is None:
|
||
return -1
|
||
if tbr_d <= 0:
|
||
# 空 text.ll：无函数体，纯声明
|
||
stdlib.free(tbuf_d)
|
||
return 1
|
||
if tbr_d < StubMerger.STUB_READ_BUF_SIZE:
|
||
tbuf_d[tbr_d] = '\0'
|
||
# 逐行扫描：找 "define " 行即为实现文件
|
||
tpos_d: sizet = 0
|
||
while tpos_d < tbr_d:
|
||
tls_d: sizet = tpos_d
|
||
while tpos_d < tbr_d:
|
||
if tbuf_d[tpos_d] == '\n':
|
||
break
|
||
tpos_d += 1
|
||
tll_d: sizet = tpos_d - tls_d
|
||
if tpos_d < tbr_d:
|
||
tpos_d += 1
|
||
if tll_d >= 7 and string.strncmp(tbuf_d + tls_d, "define ", 7) == 0:
|
||
stdlib.free(tbuf_d)
|
||
return 0
|
||
stdlib.free(tbuf_d)
|
||
return 1
|
||
# ============================================================
|
||
# _IsFuncDeclaredOrDefined - 检查 out_buf 中是否已有函数的 declare/define
|
||
#
|
||
# 逐字节 strncmp 搜索 func_sig（如 @"sha1.func"(/ @printf(），命中后检查行首是否为 "declare "/"define "，跳过 call 语句
|
||
# （避免 strstr 子串匹配误命中 call ... @"func"(...)。
|
||
#
|
||
# Args: out_buf 已有 IR 文本缓冲区；func_sig 函数签名片段，如 @"sha1.func"(/ @printf(
|
||
# Returns: 1=已存在 declare/define, 0=不存在
|
||
# ============================================================
|
||
def _IsFuncDeclaredOrDefined(out_buf: bytes, func_sig: str) -> int:
|
||
"""检查 out_buf 中是否已有函数的 declare 或 define 行"""
|
||
if out_buf is None or func_sig is None:
|
||
return 0
|
||
sig_len: sizet = string.strlen(func_sig)
|
||
out_len: sizet = string.strlen(out_buf)
|
||
if sig_len == 0 or out_len == 0 or sig_len > out_len:
|
||
return 0
|
||
pos: sizet = 0
|
||
for pos in range(0, out_len - sig_len + 1):
|
||
if string.strncmp(out_buf + pos, func_sig, sig_len) == 0:
|
||
ls: sizet = pos
|
||
while ls > 0 and out_buf[ls - 1] != '\n':
|
||
ls -= 1
|
||
if string.strncmp(out_buf + ls, "declare ", 8) == 0:
|
||
return 1
|
||
if string.strncmp(out_buf + ls, "define ", 7) == 0:
|
||
return 1
|
||
return 0
|
||
# ============================================================
|
||
# _CommentOutDeclareInBuf - 将 out_buf 中匹配 func_sig 的 declare 行注释掉
|
||
#
|
||
# 用于解决 declare/define 冲突：当本地 text.ll 包含 define 而依赖
|
||
# text.ll 已生成了同函数的 declare 时，将 declare 行首字符改为 ';'
|
||
# 使其成为注释，然后追加 define 行。
|
||
# ============================================================
|
||
def _CommentOutDeclareInBuf(out_buf: bytes, func_sig: str) -> int:
|
||
"""在 out_buf 中搜索 declare 行（包含 func_sig），将其注释掉"""
|
||
if out_buf is None or func_sig is None:
|
||
return 0
|
||
sig_len: sizet = string.strlen(func_sig)
|
||
out_len: sizet = string.strlen(out_buf)
|
||
if sig_len == 0 or out_len == 0 or sig_len > out_len:
|
||
return 0
|
||
pos: sizet = 0
|
||
while pos + sig_len <= out_len:
|
||
if string.strncmp(out_buf + pos, func_sig, sig_len) == 0:
|
||
ls: sizet = pos
|
||
while ls > 0 and out_buf[ls - 1] != '\n':
|
||
ls -= 1
|
||
if string.strncmp(out_buf + ls, "declare ", 8) == 0:
|
||
out_buf[ls] = ';'
|
||
return 1
|
||
pos += 1
|
||
return 0
|
||
# ============================================================
|
||
# _CommentOutGlobalInBuf - 将 out_buf 中匹配全局变量名的行注释掉
|
||
#
|
||
# 解决 stub/text 全局变量重复定义问题：stub 中可能是 external 声明
|
||
# 或完整定义，以 text 中的定义为准，将 stub 中的同名行注释掉。
|
||
# ============================================================
|
||
def _CommentOutGlobalInBuf(out_buf: bytes, global_name: str) -> int:
|
||
"""在 out_buf 中搜索全局变量定义行（以 global_name 开头），将行首改为 ';'
|
||
|
||
注释掉**所有**匹配行（而非仅第一个）：跨模块同名裸全局（如 main.vp 与
|
||
argparse.vp 都声明 StubMerger._mbuddy）时，本地 stub external + 依赖 stub external +
|
||
依赖 text 定义会同时存在。只注释第一个会导致依赖 text 的定义残留 →
|
||
合成 IR 重复定义 → llc "redefinition of global '@StubMerger._mbuddy'"（ArgparseTest
|
||
回归根因）。"以 text 中定义为准"的语义：后追加者注释掉全部旧行，最终
|
||
只保留最后一个定义。
|
||
"""
|
||
if out_buf is None or global_name is None:
|
||
return 0
|
||
name_len: sizet = string.strlen(global_name)
|
||
out_len: sizet = string.strlen(out_buf)
|
||
if name_len == 0 or out_len == 0 or name_len > out_len:
|
||
return 0
|
||
pos: sizet = 0
|
||
commented: int = 0
|
||
while pos + name_len <= out_len:
|
||
if string.strncmp(out_buf + pos, global_name, name_len) == 0:
|
||
# 确认是行首（前一个是换行或 pos==0）
|
||
if pos == 0 or out_buf[pos - 1] == '\n':
|
||
out_buf[pos] = ';'
|
||
commented = 1
|
||
pos += 1
|
||
return commented
|
||
def _HasGlobalInBuf(out_buf: bytes, global_name: str) -> int:
|
||
"""检测 out_buf 中是否已有同名全局变量行（行首匹配，未注释）
|
||
|
||
用于跳过重复追加依赖全局强定义：stub 注入已提供 external 声明，
|
||
依赖 text.ll 的强定义只需在定义模块存在一份，复制进每个依赖方
|
||
会导致 ld.lld duplicate symbol（如 _op_head、MemBuddy.vtable）。
|
||
"""
|
||
if out_buf is None or global_name is None:
|
||
return 0
|
||
name_len: sizet = string.strlen(global_name)
|
||
out_len: sizet = string.strlen(out_buf)
|
||
if name_len == 0 or out_len == 0 or name_len > out_len:
|
||
return 0
|
||
pos: sizet = 0
|
||
while pos + name_len <= out_len:
|
||
if string.strncmp(out_buf + pos, global_name, name_len) == 0:
|
||
# 确认是行首（前一个是换行或 pos==0）
|
||
if pos == 0 or out_buf[pos - 1] == '\n':
|
||
return 1
|
||
pos += 1
|
||
return 0
|
||
# ============================================================
|
||
# _CommentOutOpaqueTypeInBuf - 将 out_buf 中匹配类型名的 opaque 声明行注释掉
|
||
#
|
||
# 解决跨模块类型定义冲突：本地 stub 可能包含自动生成的 opaque 声明
|
||
#（如 %"sha1.Widget" = type opaque），而依赖 stub 包含完整定义
|
||
#（如 %"sha1.Widget" = type { i8*, i32 }）。去重时需要将 opaque 声明
|
||
# 注释掉，让完整定义被追加，否则 LLC 报错 "Cannot allocate unsized type"。
|
||
# ============================================================
|
||
def _CommentOutOpaqueTypeInBuf(out_buf: bytes, type_name_prefix: str) -> int:
|
||
"""在 out_buf 中搜索 type_name_prefix 对应的 opaque 声明行，将行首改为 ';'
|
||
|
||
type_name_prefix 格式: '%"sha1.ClassName"'（不含 '=' 和后续内容）
|
||
返回 1=已注释, 0=未找到
|
||
"""
|
||
if out_buf is None or type_name_prefix is None:
|
||
return 0
|
||
prefix_len: sizet = string.strlen(type_name_prefix)
|
||
out_len: sizet = string.strlen(out_buf)
|
||
if prefix_len == 0 or out_len == 0 or prefix_len > out_len:
|
||
return 0
|
||
pos: sizet = 0
|
||
while pos + prefix_len <= out_len:
|
||
if string.strncmp(out_buf + pos, type_name_prefix, prefix_len) == 0:
|
||
# 确认是行首（前一个是换行或 pos==0）
|
||
if pos == 0 or out_buf[pos - 1] == '\n':
|
||
# 检查后面是否是 " = type opaque"
|
||
p: sizet = pos + prefix_len
|
||
# 跳过空格
|
||
while p < out_len and out_buf[p] == ' ':
|
||
p += 1
|
||
if p < out_len and out_buf[p] == '=':
|
||
p += 1
|
||
while p < out_len and out_buf[p] == ' ':
|
||
p += 1
|
||
if p + 11 <= out_len:
|
||
if string.strncmp(out_buf + p, "type opaque", 11) == 0:
|
||
# 找到 opaque 声明，将行首改为 ';'
|
||
out_buf[pos] = ';'
|
||
return 1
|
||
pos += 1
|
||
return 0
|
||
# ============================================================
|
||
# _is_submodule_of_imported - 检查模块名是否是已导入包的子模块
|
||
#
|
||
# deps_buf 只记录直接导入的模块名（如 "ast"），但包的 __init__.vp 内部 from .lexer import Lexer 会让 IR 引用 ast.lexer
|
||
# 子模块类型；模块名含 '.' 时检查其顶层包名是否在 deps_buf 中（deps_buf = "ast stdio string" 时 "ast.lexer" → 1，"foo.bar" → 0）。
|
||
# ============================================================
|
||
def _is_submodule_of_imported(deps_buf: str, mod_name: str) -> int:
|
||
"""检查 mod_name 是否是 deps_buf 中已导入包的子模块"""
|
||
if deps_buf is None or mod_name is None:
|
||
return 0
|
||
# 查找第一个 '.'，提取顶层包名
|
||
dot_pos: str = string.strchr(mod_name, 46) # '.' = 46
|
||
if dot_pos is None:
|
||
return 0
|
||
pkg_len: sizet = sizet(uint64(dot_pos) - uint64(mod_name))
|
||
if pkg_len == 0 or pkg_len >= 256:
|
||
return 0
|
||
# 构造顶层包名（截断到 '.' 之前）
|
||
# 直接在 mod_name 上临时截断检查，避免分配
|
||
saved_ch: char = mod_name[pkg_len]
|
||
mod_name[pkg_len] = '\0'
|
||
result: int = GenApi.is_module_imported(deps_buf, mod_name)
|
||
mod_name[pkg_len] = saved_ch
|
||
return result
|
||
# ============================================================
|
||
# _HasFullTypeDefinition - 检查 out_buf 中是否已有完整类型定义（非 opaque）
|
||
#
|
||
# type_name_prefix 格式: '%"sha1.ClassName"'（不含 '='）
|
||
# 完整定义: %"name" = type { ... } 或 %"name" = type < { ... } >
|
||
# 返回 1=已有完整定义, 0=无完整定义
|
||
# ============================================================
|
||
def _HasFullTypeDefinition(out_buf: bytes, type_name_prefix: str) -> int:
|
||
"""检查 out_buf 中是否已有 type_name_prefix 的完整定义"""
|
||
if out_buf is None or type_name_prefix is None:
|
||
return 0
|
||
prefix_len: sizet = string.strlen(type_name_prefix)
|
||
out_len: sizet = string.strlen(out_buf)
|
||
if prefix_len == 0 or out_len == 0 or prefix_len > out_len:
|
||
return 0
|
||
pos: sizet = 0
|
||
while pos + prefix_len <= out_len:
|
||
if string.strncmp(out_buf + pos, type_name_prefix, prefix_len) == 0:
|
||
# 确认是行首（前一个是换行或 pos==0），且未被注释（行首不是 ';'）
|
||
is_line_start: int = 0
|
||
if pos == 0:
|
||
is_line_start = 1
|
||
elif out_buf[pos - 1] == '\n':
|
||
is_line_start = 1
|
||
if is_line_start == 1:
|
||
# 检查后面是否是 " = type {" 或 " = type <"
|
||
p: sizet = pos + prefix_len
|
||
while p < out_len and out_buf[p] == ' ':
|
||
p += 1
|
||
if p < out_len and out_buf[p] == '=':
|
||
p += 1
|
||
while p < out_len and out_buf[p] == ' ':
|
||
p += 1
|
||
if p + 5 < out_len:
|
||
if string.strncmp(out_buf + p, "type ", 5) == 0:
|
||
p += 5
|
||
if p < out_len:
|
||
if out_buf[p] == '{' or out_buf[p] == '<':
|
||
return 1
|
||
pos += 1
|
||
return 0
|
||
# ============================================================
|
||
# _BuildIncludesSha1Map - 从全局内存存储器构建 sha1 → module_name 映射
|
||
#
|
||
# 数据来源是 PopulateSha1MapStore 填充的全局存储器（不读取 _sha1_map.txt）。
|
||
# 返回两个数组（sha1_list 和 mod_list），长度存储在 count 中。
|
||
# 所有内存由 stdlib.malloc 分配，调用者负责释放。
|
||
# ============================================================
|
||
def _BuildIncludesSha1Map(temp_dir: str, td_len: sizet,
|
||
sha1_list: str,
|
||
mod_list: str) -> int:
|
||
"""从全局内存存储器复制 sha1→module_name 映射到调用者数组
|
||
|
||
temp_dir/td_len 参数保留以兼容现有调用者，但不再使用。
|
||
数据来源是 PopulateSha1MapStore 填充的全局存储器。
|
||
"""
|
||
if sha1_list is None or mod_list is None:
|
||
return 0
|
||
if StubMerger._sha1_store_arr is None or StubMerger._sha1_store_mod is None:
|
||
return 0
|
||
count: int = 0
|
||
for i in range(StubMerger._sha1_store_count):
|
||
if count >= StubMerger.MAX_INCLUDES:
|
||
break
|
||
idx: sizet = sizet(i) * 17
|
||
idx2: sizet = sizet(i) * 64
|
||
string.strcpy(sha1_list + sizet(count) * 17, StubMerger._sha1_store_arr + idx)
|
||
string.strcpy(mod_list + sizet(count) * 64, StubMerger._sha1_store_mod + idx2)
|
||
count += 1
|
||
return count
|
||
# ============================================================
|
||
# _FindSha1ByModName - 从模块名查找 SHA1（精确匹配；供依赖图分析「模块名 → SHA1」）
|
||
#
|
||
# Args: sha1_arr SHA1 数组（每个 17 字节）；mod_arr 模块名数组（每个 64 字节）；count 映射条目数；mod_name 要查找的模块名
|
||
# Returns: SHA1 字符串指针（指向 sha1_arr 内部，无需释放），未找到返回 None
|
||
# ============================================================
|
||
def _FindSha1ByModName(sha1_arr: str, mod_arr: str,
|
||
count: int, mod_name: str) -> str:
|
||
"""从模块名查找 SHA1（精确匹配 + 包名回退）
|
||
|
||
精确匹配失败时，尝试 "{mod_name}.__init__" 回退，
|
||
支持 import ast（包）→ ast.__init__ 的 SHA1 查找。
|
||
"""
|
||
if sha1_arr is None or mod_arr is None or mod_name is None:
|
||
return None
|
||
if count <= 0:
|
||
return None
|
||
# 第一遍：精确匹配
|
||
for i in range(count):
|
||
idx: sizet = sizet(i) * 64
|
||
# 快速路径：strcmp 判等蕴含首字符相等，首字符不同者跳过 strcmp
|
||
# （热点：本函数全表逐条 strcmp 查名）。
|
||
if mod_arr[idx] == mod_name[0] and string.strcmp(mod_arr + idx, mod_name) == 0:
|
||
sidx: sizet = sizet(i) * 17
|
||
return sha1_arr + sidx
|
||
# 第二遍：包名回退（"ast" → "ast.__init__"）
|
||
nm_len: sizet = string.strlen(mod_name)
|
||
init_buf: bytes = stdlib.malloc(nm_len + 12)
|
||
if init_buf is not None:
|
||
viperlib.snprintf(init_buf, nm_len + 12, "%s.__init__", mod_name)
|
||
for i in range(count):
|
||
idx2: sizet = sizet(i) * 64
|
||
if mod_arr[idx2] == init_buf[0] and string.strcmp(mod_arr + idx2, init_buf) == 0:
|
||
sidx2: sizet = sizet(i) * 17
|
||
stdlib.free(init_buf)
|
||
return sha1_arr + sidx2
|
||
stdlib.free(init_buf)
|
||
return None
|
||
# ============================================================
|
||
# _AddSha1ToSet - 将 SHA1 加入集合（去重；已在集合中则 count 不变）
|
||
#
|
||
# Args: set_buf SHA1 集合缓冲区（每个 17 字节）；count 当前集合中的 SHA1 数量；sha1 要加入的 SHA1
|
||
# Returns: 新的 count
|
||
# ============================================================
|
||
def _AddSha1ToSet(set_buf: str, count: int, sha1: str) -> int:
|
||
"""将 SHA1 加入集合，返回新 count"""
|
||
if set_buf is None or sha1 is None:
|
||
return count
|
||
for i in range(count):
|
||
idx: sizet = sizet(i) * 17
|
||
if string.strcmp(set_buf + idx, sha1) == 0:
|
||
return count
|
||
if count < StubMerger.MAX_INCLUDES_SHA1:
|
||
idx: sizet = sizet(count) * 17
|
||
string.strcpy(set_buf + idx, sha1)
|
||
return count + 1
|
||
return count
|