Jev基准测试：42/49任务胜GPT-5.6-luna，推理与校准领先
2026.09.19 · 事件 · 基准测试 · 社区热议
TypeSafe的Jev模型在49项任务中42项超越GPT-5.6-luna，推理和校准误差表现突出。
TypeSafe的Jev模型在49项任务、约8200个样本的基准测试中，42项匹配或超越GPT-5.6-luna（推理关闭/低）。Jev在LogiQA、WinoGrande、ARC-Challenge等推理任务上显著领先，校准误差约为基线一半，且成本更低。
- 42/49任务匹配或超越基线
- 推理任务大幅领先（LogiQA 0.77 vs 0.59）
- 校准误差约为基线一半
- 成本约$0.04/千项，速度约105ms
- 无法生成文本，仅输出概率
为什么值得看
展示新型决策模型在推理和校准上的潜力，可能改变分类与重排任务的技术选择。
适合谁关注
关注AI模型评估、分类器与重排器选型的研究者和工程师。