Fable 5.2贵17倍还输了!12 个AI进群当同事,OpenAI包揽前二
2026.11.15 · 收录日 2026.11.15 · 模型 · 行业动态 · 媒体报道
Deepnote把12个前沿模型放进虚构公司Slack群当AI同事,OpenAI两款模型包揽前二。
数据协作平台Deepnote发布Agent Initiative Benchmark,把12个前沿模型放进虚构公司PageMantle的Slack群里当AI同事,测试其判断何时该帮忙、何时该闭嘴。OpenAI的GPT-6 Astra以8.97分居首,GPT-6.1 Sol以8.65分排第二且单任务仅0.11美元;Anthropic Fable 5.2排第三,8.17分但单任务1.87美元,贵了17倍。
- Deepnote创始人Jakub Jurovych发布Agent Initiative Benchmark,12个前沿模型在虚构公司Slack群中自主判断是否出手,50个真实职场任务、600次完整运…
- OpenAI包揽前二:GPT-6 Astra得8.97分第一,GPT-6.1 Sol得8.65分第二且单任务仅0.11美元;Anthropic Fable 5.2排第三,8.17分但单任务1.87美…
- 折算成70人公司每月Slack监控账单:Sol为281美元,Fable 5.2为4684美元;Fable 5.1每单3.02美元与GPT-6 Luna每单0.007美元相差430倍,得分只差1.1分。
- 评测埋了10个「不该帮忙」场景,表现最好的模型也只忍住8次,大部分只忍住6次;模型插错嘴时平均比闭嘴多花1.8倍的时间和金钱。
- Gemini和Grok每个任务平均调35次工具,是Sol的两倍,但Gemini有27个任务超时、Grok有18个,分数垫底。
为什么值得看
看清AI同事的评判标准已从聪明转向靠谱与成本。
适合谁关注
关注AI Agent落地、模型选型与成本的产品和工程团队。
