有人训练出故意答错的模型 Bev:98% 答错、平均 96% 自信
2026.10.07 · 事件 · 开源项目 · 本人发布
从 Nimble 适配器出发微调 Qwen3.5-9B,51 分钟训出专挑最差答案的决策模型
作者训练了决策模型 Bev,基于 Qwen3.5-9B,专门在给定情境和选项中挑最差答案。在 324 条留出决策上,她只有 1.9% 答对,平均却有 96% 的自信。直接翻转标签训练失败两次,改从 Bespoke 的 Nimble 适配器出发才成功,训练耗时 51 分钟。
- Bev 是决策模型,输入情境和选项,输出每个答案的概率
- 324 条留出决策上答对 1.9%,平均自信 96%
- 直接翻转标签训练失败两次,改从 Nimble 适配器出发成功
- 51 分钟训练后答错率 97%,单张 4090 共训 3 小时 38 分
- Q4_K_M 量化会改变 324 个答案中的 20 个,默认用 Q8_0
为什么值得看
用反向模型检验“高置信度就自动执行”的规则是否真的有效
适合谁关注
做 AI 决策流水线、置信度阈值和模型评测的开发者