Real-SWE 基准:评估 AI 模型在私有企业真实代码库上的表现
2026.09.13 · 事件 · AI 基准 · 社区热议
新基准用真实企业私有代码测试 AI 编程,Fable 5.1 以 38.8% 解决率居首。
Real-SWE 是一个新基准,用来自真实公司的私有生产代码库任务评估前沿 AI 模型。任务涉及计费、税务等业务逻辑,要求模型理解公司特定约定。结果显示 Fable 5.1 解决率最高,达 38.8%,其次为 GPT-6 Astra 的 33.8% 和 Gemini 3.8 Flash 的 31.2%。
- 任务来自真实企业私有代码库
- Fable 5.1 解决率 38.8% 居首
- GPT-6 Astra 解决率 33.8%
- Gemini 3.8 Flash 解决率 31.2%
- 评估模型与工具链组合
为什么值得看
首个针对私有企业代码的基准,揭示 AI 编程在真实业务场景的局限。
适合谁关注
关注 AI 编程能力的开发者、企业技术决策者。