AI不光得会说，还不能乱插嘴！Omni AI变革实时交互
2026.10.30 · 观点 · 论文 · 论文预印本
多校联合综述提出统一框架，梳理实时交互式全模态智能的技术链路与权衡。
伊利诺伊大学厄巴纳—香槟分校、卡内基梅隆大学、哥伦比亚大学等机构研究人员提出综述，总结349篇工作，构建连接全模态智能与交互能力的统一概念框架，梳理从流式表征、模型架构、训练方法到实时部署与评测的技术链路，并总结智能与交互之间的关键权衡及未来方向。
- 综述将实时交互式全模态智能分为Omni Intelligence（跨模态理解、推理与生成）与Omni Interactivity（回应时机、轮次管理、打断处理、动态调整）两部分。
- 提出三个关键特征：流式输入、持续演进的内部状态、在线响应控制，模型需动态决定何时回应、等待或修订输出。
- 归纳两条技术路线：基于现有模型适配（流式处理、模态模块、后训练、外部编排），以及构建原生交互模型。
- 打断恢复归纳六个环节：检测、让出话语权、回退、取消、修订、恢复。
- 评测从延迟、时机质量、内容质量、鲁棒性、长会话质量、修复能力六个维度整理，并提出多时间尺度协同等四个未来方向。
为什么值得看
实时交互是全模态AI下一阶段关键方向，这篇综述给出系统框架。
适合谁关注
关注多模态、实时交互与AI系统架构的研究者和开发者。