用 NVIDIA Nemotron 开源模型打造会说话的万圣节鬼屋
2026.10.31 · 收录日 2026.10.31 · 产品 · 开源项目 · 本人发布
开发者用 Nemotron 语音智能体把车库门变成会抱怨的老海盗船
NVIDIA 员工 Rick Grandy 为万圣节做了互动投影 MonsterHouse:车库门化身脾气暴躁的老海盗船,能听孩子说话并回应。系统基于 NVIDIA Nemotron Voice Agent,由 Nemotron Speech 负责听、Bolt E4B 4GB 负责想、Magpie TTS Zeroshot 负责说、Audio2Face-3D 负责嘴部动画,全部跑在一台工作站上。
- MonsterHouse 是作者为万圣节做的互动投影,车库门被赋予嘴巴,以暴躁老海盗船的口吻与上门要糖的孩子对话
- 语音链路:Nemotron Speech ASR 把访客语音转文字,Nemotron 3.5 Bolt E4B 4GB 生成回复,LoRA 适配器提供角色性格
- 发声与动画:Magpie TTS Zeroshot 用短参考样本合成角色声音,Audio2Face-3D 在 Unreal Engine 5 中驱动嘴部动画
- 感知与运行:Nemotron 3 Nano Omni 描述服装,YOLO 和 ByteTrack 计数追踪访客,Nemotron Voice Agent 在一台工作站上协调全流程
- 作者测试了十多个模型后选定 Bolt E4B,使用 4-bit 量化版作为默认回复模型,并称其占用比 Qwen3 30B-A3B 等候选更小
为什么值得看
看开源小模型如何串成完整实时语音交互角色
适合谁关注
关注语音智能体、开源模型与互动装置的开发者
