NVIDIA 发布 NemotronLabs VoiceChat 11B：开源全双工语音模型，支持约 450 毫秒轮换与实时工具调用
2026.08.10 · 产品 · 开源项目 · 官方发布
英伟达推出开源全双工语音模型，实现毫秒级响应与实时工具调用。
英伟达发布开源端到端语音模型 NemotronLabs VoiceChat 11B，在统一网络中实现流式语音理解与生成，实测轮换延迟 448 毫秒。该模型支持边听边说与实时工具调用，通过独立通道及预置话术避免 API 执行冷场。目前模型权重与容器已开源，但仅限研究用途。
- 采用 Mamba/Transformer 混合架构，实现端到端流式语音交互。
- 实测轮换延迟 448 毫秒，支持用户打断与自然的对话交替。
- 首个支持流式工具调用的开源全双工模型，通过独立通道输出。
- 权重与容器已公开，但目前仅限研究用途，存在一定故障率。
为什么值得看
开源全双工语音模型迎来新突破，填补了实时语音工具调用的空白。
适合谁关注
语音 AI 开发者、大模型研究员及开源技术爱好者