刚刚,百度开源全新预训练基模,还是主打效率的Flash

2026.11.05 · 收录日 2026.11.05 · 事件 · 新模型 · 媒体报道

百度开放文心 5.5 Flash Base 权重,280B 总参数、每 token 激活 14B,主打长上下文与推理效…

百度发布并开源新一代基座模型文心 5.5 Flash Base,为稀疏 MoE 语言模型,总参数 280B、每 token 激活 14B,在 33.5T tokens 上从零预训练,训练上下文 128K、推理与微调外扩至 1M。模型已开放权重,并联合 vLLM、SGLang 提供开源生态支持。

  • 稀疏 MoE 架构:总参数 280B、每 token 激活 14B,43 层 Transformer,Hidden Size 4096,64 个注意力头
  • 混合稀疏注意力:每 7 层仅 1 层用 MLA 保留全上下文 token 级访问,其余 6 层用 HCA,每 128 个 token 压缩为一条缓存条目
  • Multi-Router MoE:多个 sigmoid 路由器同时打分,激活专家数、FLOPs 与通信量与单路由器相同,推理无额外成本
  • ECHO 让主干最后一层同时承担未来 token 预测,可充当投机解码内置 draft 模型,几乎不增加参数
  • 已开放权重,联合 vLLM、SGLang 提供开源生态支持,并开源 FlashMask-4 算子

为什么值得看

Flash 档模型正成为 Agent 高频长时运行的主力档位

适合谁关注

关注大模型架构、推理成本与开源基座的开发者

原始来源

查看收录日 2026.11.05 全部卡片 · 全部卡片归档