商汤开源 SenseNova-Loop-9B:9B 参数循环架构,推理等效 14.6B

2026.11.18 · 收录日 2026.11.18 · 模型 · 新模型 · 开源项目

商汤开源 9B 多模态模型,靠循环复用层权重把 32 层跑成 56 层计算

商汤正式发布并开源 SenseNova-Loop-9B,模型约 9B 参数,通过循环复用中间层权重,把 32 个物理解码层扩展为 56 次层计算,推理等效参数约 14.6B。它采用双流 mHC 与线性/全注意力交替的混合注意力,支持文本与图像输入、512K 上下文,并同步放出官方 AWQ 4-bit 量化版本。

  • 循环架构:24 个解码层顺序执行两次,单次前向由 32 个不同层产生 56 次层计算
  • 双流 mHC:两条残差流之间用学习到的映射路由并混合信息,映射经 Sinkhorn 归一化约束
  • 混合注意力:每四层为一组,三层线性注意力加一层全注意力,循环边界与整组对齐
  • 长上下文多模态训练:覆盖文本、图像、代码与工具调用轨迹,上下文长度扩展至 512K tokens
  • 低显存部署:4-bit 权重加 8-bit KV 缓存,256K 上下文多模态推理约需 15 GiB 显存

为什么值得看

9B 体量对标更大模型,还给出官方量化版,部署门槛低

适合谁关注

关注高效推理架构、多模态与本地部署的开发者

原始来源

查看收录日 2026.11.18 全部卡片 · 全部卡片归档