测试信号
在真实和合成的测试差异上运行 Macroscope 的 test-signal 检查(.macroscope/check-run-agents/test-signal.md),并检查一个便宜的模型会标出低信号测试、放过好的测试。用它把检查裁到仍然有效的最少字数。
模型拿到检查正文、PR 的测试差异、PR 头上的 read_file 和 grep,以及 post_comment。包在正文外面的包装提示是 Macroscope 那份未公开提示的替代品。
运行
sh
cd evals
pnpm test-signal --out runs/baseline
pnpm test-signal --out runs/cut --prompt /path/to/variant.md --case new-table-row- 模型经过
~/.codex/config.toml里的vibeproxyCLIProxyAPI 提供方。默认模型:gpt-6.1-terra和gpt-6-luna。每个模型传一次--model来更换它们。 - 标志:
--prompt <file>(检查的一个变体,默认是真实的那份)、--case <id>(可重复)、--samples <n>(默认 2,前两次不一致时再来第 3 次)、--concurrency <n>(默认 6)、--reasoning <level>(默认low,与检查运行时一样)。 - 坏案例在评论落在目标测试内部时通过。守卫案例在检查什么都不发、并且回复恰好是
All clear时通过。 summary.md给出提示的哈希和字数,然后按模型给出:抓住的坏案例、干净的守卫、错误和 token。- 费用:只有代理配额,两个模型完整跑一次大约 0.5M token。
添加案例
向 cases.ts 添加一条。real 案例指定一个已合并的提交及其测试路径。synthetic 案例在真实文件里的一个锚点字符串之后插入一个测试。坏案例列出要标记的测试标题。