刚刚,百度开源全新预训练基模,还是主打效率的Flash
2026.11.05 · 收录日 2026.11.05 · 事件 · 新模型 · 媒体报道
百度开放文心 5.5 Flash Base 权重,280B 总参数、每 token 激活 14B,主打长上下文与推理效…
百度发布并开源新一代基座模型文心 5.5 Flash Base,为稀疏 MoE 语言模型,总参数 280B、每 token 激活 14B,在 33.5T tokens 上从零预训练,训练上下文 128K、推理与微调外扩至 1M。模型已开放权重,并联合 vLLM、SGLang 提供开源生态支持。
- 稀疏 MoE 架构:总参数 280B、每 token 激活 14B,43 层 Transformer,Hidden Size 4096,64 个注意力头
- 混合稀疏注意力:每 7 层仅 1 层用 MLA 保留全上下文 token 级访问,其余 6 层用 HCA,每 128 个 token 压缩为一条缓存条目
- Multi-Router MoE:多个 sigmoid 路由器同时打分,激活专家数、FLOPs 与通信量与单路由器相同,推理无额外成本
- ECHO 让主干最后一层同时承担未来 token 预测,可充当投机解码内置 draft 模型,几乎不增加参数
- 已开放权重,联合 vLLM、SGLang 提供开源生态支持,并开源 FlashMask-4 算子
为什么值得看
Flash 档模型正成为 Agent 高频长时运行的主力档位
适合谁关注
关注大模型架构、推理成本与开源基座的开发者
