OpenRouter 教程：如何在 CI 中用 LLM eval 门禁拦截 Pull Request
2026.10.01 · 产品 · 技巧 · 官方发布
改一行系统提示词可能让客服 Agent 答错退款期限，CI 却毫无察觉。
OpenRouter 发布教程，讲如何在 CI 中用固定 eval 集给 Pull Request 设门禁：把测试用例提交进仓库，提示词变更时自动运行，失败率超阈值就阻止合并。文中以客服 Agent 为例，用脚本调用 OpenRouter 打分，并接入 GitHub Actions 作为必需状态检查。
- 固定 eval 集存仓库，只经评审 PR 修改
- Anthropic 建议起步 20~50 个真实失败任务
- 脚本通过率低于阈值时以非零退出码失败
- 阈值应基于未改动分支的重复运行测量
- 在 job 级过滤，workflow 级过滤会卡住必需检查
为什么值得看
给提示词变更加上像单元测试一样的合并门禁
适合谁关注
做 LLM 应用与 CI 流水线的工程师