Real-SWE 基准:评估 AI 模型在私有企业真实代码库上的表现

2026.09.13 · 事件 · AI 基准 · 社区热议

新基准用真实企业私有代码测试 AI 编程,Fable 5.1 以 38.8% 解决率居首。

Real-SWE 是一个新基准,用来自真实公司的私有生产代码库任务评估前沿 AI 模型。任务涉及计费、税务等业务逻辑,要求模型理解公司特定约定。结果显示 Fable 5.1 解决率最高,达 38.8%,其次为 GPT-6 Astra 的 33.8% 和 Gemini 3.8 Flash 的 31.2%。

  • 任务来自真实企业私有代码库
  • Fable 5.1 解决率 38.8% 居首
  • GPT-6 Astra 解决率 33.8%
  • Gemini 3.8 Flash 解决率 31.2%
  • 评估模型与工具链组合

为什么值得看

首个针对私有企业代码的基准,揭示 AI 编程在真实业务场景的局限。

适合谁关注

关注 AI 编程能力的开发者、企业技术决策者。

原始来源