LiquidAI 发布 LFM3:2B 级多模态模型家族,单卡即可微调

2026.10.28 · 产品 · 新模型 · 官方发布

LFM3 把文本、视觉、音频、全模态和决策模型统一到同一 2B 级骨干上。

LiquidAI 发布新一代 Liquid Foundation Models(LFM3),把文本、视觉、音频、全模态和决策模型统一到同一 2B 级骨干上。相比 LFM2,LFM3-1.7B 以少 35% 的参数超过 LFM2.5-2.6B,文本模型 4-bit 量化后约 1GB,支持 256K 上下文,每个模型都能在单张 GPU 上微调。

  • LFM3 把文本、视觉、音频、全模态和决策六款 2B 级模型放在同一骨干上,均从 LFM3-1.7B-Base 分支而来。
  • LFM3-1.7B 采用三混合层结构:13 层门控短卷积、5 层 256 token 滑窗注意力和 6 层全局注意力。
  • LFM3-1.7B 在短提示上匹配 LFM2-1.2B,8K 上下文时约快 25%,参数比 LFM2.5-2.6B 少 35%。
  • LFM3-1.7B-Base 用 22T token 预训练,最后 3.5T token 为中期训练,上下文扩展到 256K。
  • 文本模型 4-bit 精度下约 1GB,配合自研视觉与音频编码器,面向端侧部署和单卡微调。

为什么值得看

了解 2B 级多模态模型如何做到单卡微调与端侧部署。

适合谁关注

关注端侧 AI、多模态模型和模型微调的开发者。

原始来源