OpenRouter 教程：如何测试 AI Agent 的工具调用准确性
2026.09.30 · 产品 · 技巧 · 官方发布
把工具选择错误和参数错误分开测，三种方法可跨模型对比。
OpenRouter 发布教程，指出 Agent 调用工具时有两种失败：选错工具，或选对工具但传错参数。文章给出三种测试方法：无参考 LLM 评判、确定性参数校验、轨迹对比，并演示如何用同一批测试用例跨多个支持工具的模型运行。
- 失败分两类：工具选择错误与参数错误，需分别测试
- 方法一：无参考 LLM 评判，适合多解或依赖上下文的场景
- 方法二：用 JSON Schema 做确定性结构校验，值需另查
- 方法三：轨迹对比，仅在工具调用顺序重要时使用
- 跨模型对比需保持测试用例、评分规则与路由配置一致
为什么值得看
给出可落地的 Agent 工具调用评测框架与选型建议。
适合谁关注
做 AI Agent 评测与开发的工程师。