LiquidAI 发布 LFM3:2B 级多模态模型家族,单卡即可微调
2026.10.28 · 产品 · 新模型 · 官方发布
LFM3 把文本、视觉、音频、全模态和决策模型统一到同一 2B 级骨干上。
LiquidAI 发布新一代 Liquid Foundation Models(LFM3),把文本、视觉、音频、全模态和决策模型统一到同一 2B 级骨干上。相比 LFM2,LFM3-1.7B 以少 35% 的参数超过 LFM2.5-2.6B,文本模型 4-bit 量化后约 1GB,支持 256K 上下文,每个模型都能在单张 GPU 上微调。
- LFM3 把文本、视觉、音频、全模态和决策六款 2B 级模型放在同一骨干上,均从 LFM3-1.7B-Base 分支而来。
- LFM3-1.7B 采用三混合层结构:13 层门控短卷积、5 层 256 token 滑窗注意力和 6 层全局注意力。
- LFM3-1.7B 在短提示上匹配 LFM2-1.2B,8K 上下文时约快 25%,参数比 LFM2.5-2.6B 少 35%。
- LFM3-1.7B-Base 用 22T token 预训练,最后 3.5T token 为中期训练,上下文扩展到 256K。
- 文本模型 4-bit 精度下约 1GB,配合自研视觉与音频编码器,面向端侧部署和单卡微调。
为什么值得看
了解 2B 级多模态模型如何做到单卡微调与端侧部署。
适合谁关注
关注端侧 AI、多模态模型和模型微调的开发者。