Inkling 2 Mini 发布:面向本地部署的循环 Transformer 模型

2026.11.20 · 收录日 2026.11.21 · 模型 · 新模型 · 官方发布

Thinking Machines Lab 发布 Inkling 2 Mini,26.4B 总参数、3.4B 激活的本…

Thinking Machines Lab 发布 Inkling 2 Mini,一款面向本地部署的循环 Transformer 多模态 MoE 模型,26.4B 总参数、3.4B 激活、5.4B 权重激活,12 个中间层循环三次等效 48 个逻辑层,支持 1M token 上下文与图像文本输入。权重以 NVFP4 为主、最后四层 MXFP8,总内存约 20GB,可在消费级笔记本离线运行。官方称其在 DeepSWE v1.1 得 48.2%、Vals Index v2.2 得 46.5%,领先所有 100B 以下开源权重模型。

  • 26.4B 总参数、3.4B 激活、5.4B 权重激活(含循环重复读取),总内存约 20GB,可在消费级笔记本和桌面 AI 电脑本地运行。
  • 大部分权重原生 NVFP4 训练与部署,最后四层 MXFP8;解码速度理论上限 614 GB/s(BF16、batch size 1)。
  • DeepSWE v1.1 48.2%、Vals Index v2.2 46.5%、AA Index v5.0 20.1,官方称领先所有 100B 以下开源权重模型。
  • 循环提升推理但不增加事实知识,AA-Omniscience 得 -8.6;可变循环研究版无 CoT 时间跨度从 16 秒(1 次)升至 37 秒(3 次)。
  • 斯坦福实测能效 0.703(DGX Spark,MXFP8),高于 Qwen3.6-35B-A3B 的 0.430、Gemma-4-26B-A4B 的 0.159、Qwen3.5-27B 的…

为什么值得看

循环复用核心层权重,让 24 层物理模型获得 48 层等效深度,同时保持本地可部署规模。

适合谁关注

关注本地部署与开源权重模型的研究者、开发者和端侧 AI 用户。

原始来源

查看收录日 2026.11.21 全部卡片 · 全部卡片归档