NeoMME：高效多模态原生多语言编码器，单Transformer处理图文
2026.09.03 · 产品 · 新模型 · 官方发布
NeoMME发布，单Transformer原生处理图文，无需预训练视觉塔或因果解码器。
HuggingFace团队发布NeoMME，一种260M和800M参数的多模态多语言编码器。它使用单一双向Transformer同时处理文本和图像，通过掩码离散扩散目标从头训练，无需预训练视觉塔或因果语言模型。在ViDoRe v3检索基准上达到前沿水平，260M模型在L40S上每秒编码约51页，索引存储压缩255倍。
- 单Transformer原生处理图文，无预训练视觉塔
- 260M和800M两种规模，上下文16,384 tokens
- ViDoRe v3 Pareto前沿，nDCG@10领先
- 260M模型每秒编码约51页，吞吐量翻倍
- 索引存储从1.5MB降至6kB，保留95%性能
为什么值得看
突破传统VLM架构，实现高效多模态编码，适合文档检索等任务。
适合谁关注
多模态检索、文档理解领域的研究者和工程师。