Agens Volundr 32B Preview：72 层中仅 18 层保留 KV 缓存（Apache-2.0）
2026.10.05 · 产品 · 新模型 · 本人发布
香港小团队 Blockway 发布首个自研混合架构模型预览版，主打长上下文省显存。
香港小团队 Blockway 发布 Agens Volundr 32B Preview，这是其自研混合架构的首个模型，72 层中仅 18 层保留 KV 缓存，上下文窗口 262K。团队称在有限算力下训练，长智能体会话是最弱项，完整 v1 仍在继续预训练。
- 72 层中仅 18 层保留 KV 缓存，上下文窗口 262K
- 54 层 KDA 线性注意力 + 17 层 BCSA 压缩稀疏注意力 + 1 层
- BF16 双 48GB GPU 解码 1K 时 25.1 tok/s，128K
- INT4 单 48GB GPU 解码 1K 时 31.0 tok/s
- 需自研 sglang 构建，GGUF/llama.cpp 尚未提供
为什么值得看
小团队自研混合架构，长上下文显存占用思路值得关注
适合谁关注
本地部署大模型、长上下文推理的开发者