Weitu AI打造能记忆会思考的流式多模态大脑
2026.11.16 · 收录日 2026.11.16 · 模型 · 新模型 · 媒体报道
Weitu AI 发布流式多模态视频大脑,用双层稀疏记忆实现持续感知与推理。
香港多模态 AI 公司 Weitu AI 打造流式多模态视频大脑,通过 Dual Sparse Memory 双层稀疏记忆架构实现流式视频的高效压缩感知与长期记忆更新。在 OVBench 基准上综合得分 69.9,高于 Gemini 3.1 Pro 的 58.8;在 Meta S-EMBER 上得分 58.23,也高于 Gemini 3.1 Pro 的 54.41。目前已服务全球数十家企业和约 600 万个人用户。
- 核心问题是让模型在视频不断到来时高效理解场景变化、持续产生记忆,并据此完成复杂推理与决策。
- Dual Sparse Memory 架构分两步:先做时序块级稀疏学习筛选相关历史片段,再做空间域稀疏学习提取关键视觉细节。
- Long-term Memory Module 将较早的视觉与时空信息压缩为紧凑表征并持续更新,支持物体位置变化、动作先后关系等推理。
- OVBench 16 项子任务综合得分 69.9,较 Gemini 3.1 Pro 的 58.8 高出 11.1;Meta S-EMBER 得分 58.23,较其 54.41 高出 3.82。
- 应用覆盖 AI 眼镜、可穿戴摄像头、工业检修、视频创作等场景,并可作为通用大模型的持续感知入口。
为什么值得看
流式视频记忆与推理是 AI 眼镜、机器人等设备的关键能力,且有基准数据支撑。
适合谁关注
关注多模态、视频理解、AI 硬件与具身智能的从业者。
