AI Agent安全不能只靠Prompt了：上海AI Lab探索Agent安全进化新范式
2026.09.17 · 事件 · 论文 · 论文预印本
上海AI Lab联合多所高校提出SHE与SafeEvolve，从执行轨迹演化安全机制。
上海人工智能实验室联合复旦大学等高校提出SHE与SafeEvolve，从完整执行轨迹出发，将安全Harness拆解为四类组件并持续演化，同时将安全经验通过SFT和RL写入Policy模型。实验显示，SHE将攻击成功率从17.1%降至5.5%，SafeEvolve在Qwen3.5-4B上将AgentDojo攻击成功率从2.37%降至0.79%。
- SHE将安全Harness拆解为四类组件，支持局部修订
- SafeEvolve通过SFT和RL将安全经验写入Policy模型
- SHE将攻击成功率从17.1%降至5.5%
- SafeEvolve在Qwen3.5-4B上攻击成功率降至0.79%
- 安全边界可迁移至其他Agent模型
为什么值得看
Agent安全从静态配置转向轨迹驱动的持续演化，解决传统Prompt修复的局限。
适合谁关注
关注大模型Agent安全的研究者、开发者和安全工程师。