整仓迁移交给Coding Agent,训练与推理行为还能对齐吗?谷歌团队发布T2J-Bench
2026.10.31 · 收录日 2026.10.31 · 事件 · 论文 · 论文预印本
谷歌等团队发布T2J-Bench,用63个整仓任务评测PyTorch到JAX迁移质量。
谷歌云AI研究院等团队提出T2J-Bench,用63个整仓任务检验PyTorch到JAX迁移质量,并设计TwinHarness让agent利用可运行源仓库逐轮定位、修复并验证行为差异。固定Claude-Code与opus-5时,TwinHarness将得分从0.649提升至0.723,相对提升11.4%。
- T2J-Bench含63个自包含仓库级迁移任务,覆盖18个模型家族,源树通常含约15至20个模块。
- 训练部分为15个模型家族与SFT、DPO、PPO组合的45个LoRA微调任务;服务部分为6个模型家族与三种paged-attention模式的18个任务。
- 评测分Spec、Numeric、Behavioral三维度,reward为0到1连续得分,参考JAX实现得0.980用于验证可解性。
- 最强现成配置OpenCode+opus-5总体得分0.676;TwinHarness将Claude-Code+opus-5从0.649提升至0.723。
- 四组匹配配置均有提升,绝对增益在0.059至0.130之间;普通续跑第二轮22个任务退步,TwinHarness仅2个。
为什么值得看
了解Coding Agent做跨框架整仓迁移的真实能力边界与评测方法。
适合谁关注
AI Agent研究者、框架迁移工程师、评测基准关注者。
