微软与 HuggingFace 发布 ThinkingBox：按数据库终态给 AI 智能体打分
2026.10.04 · 产品 · 开源项目 · 官方发布
微软联合 HuggingFace 推出 ThinkingBox，不看回答看数据库留下的记录。
微软与 HuggingFace 联合发布 ThinkingBox 基准，在 507 个有状态业务流程上对多个 LLM 智能体各跑 20 次，只按终端后端状态和副作用评分。在覆盖 12 个模型的 121,680 次有效试验中，79,853 次未通过可执行检查，其中 67.24% 仍干净收尾且无工具报错。
- ThinkingBox 按终端后端状态与副作用评分，不看回答文本
- 覆盖 507 个有状态业务流程，每个任务独立跑 20 次
- 121,680 次有效试验中 79,853 次未通过可执行检查
- 失败中 67.24% 仍干净收尾、调用改状态工具且无报错
- 示例任务要求工单终态为 hold，实际被置为 solved
为什么值得看
揭示智能体“说完成”与数据库真实状态之间的落差。
适合谁关注
做 AI 智能体评测、企业流程自动化的开发者与团队。