T3 Code 非官方中文翻译不是官方产品,也不是 T3 Tools 官方文档。源提交 d2c25950b4d9英文原文GitHub 源文件
Skip to content

测试信号 ​

在真实和合成的测试差异上运行 Macroscope 的 test-signal 检查(.macroscope/check-run-agents/test-signal.md),并检查一个便宜的模型会标出低信号测试、放过好的测试。用它把检查裁到仍然有效的最少字数。

模型拿到检查正文、PR 的测试差异、PR 头上的 read_file 和 grep,以及 post_comment。包在正文外面的包装提示是 Macroscope 那份未公开提示的替代品。

运行 ​

sh
cd evals
pnpm test-signal --out runs/baseline
pnpm test-signal --out runs/cut --prompt /path/to/variant.md --case new-table-row
  • 模型经过 ~/.codex/config.toml 里的 vibeproxy CLIProxyAPI 提供方。默认模型:gpt-6.1-terra 和 gpt-6-luna。每个模型传一次 --model 来更换它们。
  • 标志:--prompt <file>(检查的一个变体,默认是真实的那份)、--case <id>(可重复)、--samples <n>(默认 2,前两次不一致时再来第 3 次)、--concurrency <n>(默认 6)、--reasoning <level>(默认 low,与检查运行时一样)。
  • 坏案例在评论落在目标测试内部时通过。守卫案例在检查什么都不发、并且回复恰好是 All clear 时通过。
  • summary.md 给出提示的哈希和字数,然后按模型给出:抓住的坏案例、干净的守卫、错误和 token。
  • 费用:只有代理配额,两个模型完整跑一次大约 0.5M token。

添加案例 ​

向 cases.ts 添加一条。real 案例指定一个已合并的提交及其测试路径。synthetic 案例在真实文件里的一个锚点字符串之后插入一个测试。坏案例列出要标记的测试标题。

非官方译文 · 源提交 d2c25950b4d9 · 不代表 T3 Tools