有人训练出故意答错的模型 Bev:98% 答错、平均 96% 自信

2026.10.07 · 事件 · 开源项目 · 本人发布

从 Nimble 适配器出发微调 Qwen3.5-9B,51 分钟训出专挑最差答案的决策模型

作者训练了决策模型 Bev,基于 Qwen3.5-9B,专门在给定情境和选项中挑最差答案。在 324 条留出决策上,她只有 1.9% 答对,平均却有 96% 的自信。直接翻转标签训练失败两次,改从 Bespoke 的 Nimble 适配器出发才成功,训练耗时 51 分钟。

  • Bev 是决策模型,输入情境和选项,输出每个答案的概率
  • 324 条留出决策上答对 1.9%,平均自信 96%
  • 直接翻转标签训练失败两次,改从 Nimble 适配器出发成功
  • 51 分钟训练后答错率 97%,单张 4090 共训 3 小时 38 分
  • Q4_K_M 量化会改变 324 个答案中的 20 个,默认用 Q8_0

为什么值得看

用反向模型检验“高置信度就自动执行”的规则是否真的有效

适合谁关注

做 AI 决策流水线、置信度阈值和模型评测的开发者

原始来源