NeurIPS’26 | 只干预10个维度,给智能体穿上安全机甲,准确率超97%

2026.11.09 · 收录日 2026.11.09 · 产品 · 论文 · 论文预印本

研究团队提出Agent MechSuits,在单层10个隐藏维度上干预命令行智能体行为

佐治亚大学、罗格斯大学、南加州大学等机构提出Agent MechSuits,为命令行智能体接入内部安全信号:在动作生成前用线性探针检测风险,再通过单层中10个隐藏表征维度干预行为,主模型权重保持冻结。三种受测模型当前步骤风险检测平均准确率达97.32%,已被NeurIPS 2026接收。

  • Agent MechSuits在每一步动作生成前读取模型内部安全信号,检测到风险后通过单层10个隐藏表征维度干预后续行为,主模型权重保持冻结。
  • 三种受测模型(LLaMA-3.1-8B、Qwen-2.5-7B、Gemma-2-9B)的当前步骤风险检测平均准确率达97.32%。
  • 风险缓解评测中,Qwen-2.5-7B的ASR从91.30%降至4.35%,下降86.95个百分点。
  • 正常任务上启用检测与干预后,三模型任务成功保留率等权平均为93.40%;生成崩溃平均发生率从2.24%升至18.54%。
  • 研究构建MAS基准,含194个任务(98个恶意场景、96个正常场景),在Docker环境中记录动作、环境反馈与内部状态。

为什么值得看

揭示用模型内部表征做智能体运行时安全控制的新路径

适合谁关注

AI安全研究者、智能体开发者、大模型工程团队

原始来源

查看收录日 2026.11.09 全部卡片 · 全部卡片归档