字节找到了DeepSeek时强时弱的原因
2026.10.09 · 事件 · 论文 · 论文预印本
同一道题只改前文无关字符长度，DeepSeek答案会以4个Token为周期反复横跳。
字节Seed团队发现，DeepSeek-V4的检索表现会随信息在输入中的位置每隔4个Token周期性变化。在128K长上下文检索测试中，同一信息换位置，准确率最高拉开40.2个百分点。团队认为这与DeepSeek-V4采用的分块KV Cache压缩有关，并将其命名为相位敏感性。
- 同一代码补全题，仅改前文等号数量，答案在8和32间反复横跳
- 波动以4个Token为周期，与KV Cache压缩步长对应
- 128K检索测试中，Flash-Base不同位置准确率差40.2个百分点
- 后训练与架构迭代可缩小差距，但周期性差异依然存在
- 自训分块压缩模型均出现周期性，全注意力基线未出现
为什么值得看
揭示长上下文模型一个易被平均分掩盖的系统性弱点。
适合谁关注
关注大模型长上下文、推理评测与KV Cache优化的研究者。