大模型开挂了!64量子比特,让11亿参数模型逆袭80亿

2026.10.24 · 事件 · 论文 · 论文预印本

蒙特利尔大学等团队提出HyperQ,用逐Token动态量子电路增强扩散语言模型。

加拿大蒙特利尔大学、Mila和麦吉尔大学团队提出HyperQ,将逐Token自适应的量子计算引入扩散语言模型。在64量子比特下,11亿参数模型六项零样本测试平均分超过Qwen3-8B等80亿参数模型,相关量子电路还在IBM 156量子比特量子集群上完成验证。

  • HyperQ用轻量级超网络根据每个Token的隐藏状态,动态生成专属量子电路,不同Token、不同去噪步骤可用不同电路。
  • 采用稀疏连接与IQP量子电路设计,测量期望值可经典求解,计算量随量子比特数线性增长,缓解梯度消失。
  • 64量子比特下相比冻结主干提升4.71分,超过同主干LoRA微调,而指令微调数据只有后者的十分之一。
  • 量子电路并非越大越好:16量子比特时甚至低于冻结主干,扩展到64量子比特后性能才显著提升。
  • 量子电路部署到IBM 156量子比特量子集群,64量子比特下六项零样本平均分仅比经典模拟低1.12分。

为什么值得看

看量子计算如何反向增强大模型,小模型逆袭大模型的新路径。

适合谁关注

关注大模型架构、量子计算与AI交叉方向的研究者和从业者。

原始来源