大模型开挂了!64量子比特,让11亿参数模型逆袭80亿
2026.10.24 · 事件 · 论文 · 论文预印本
蒙特利尔大学等团队提出HyperQ,用逐Token动态量子电路增强扩散语言模型。
加拿大蒙特利尔大学、Mila和麦吉尔大学团队提出HyperQ,将逐Token自适应的量子计算引入扩散语言模型。在64量子比特下,11亿参数模型六项零样本测试平均分超过Qwen3-8B等80亿参数模型,相关量子电路还在IBM 156量子比特量子集群上完成验证。
- HyperQ用轻量级超网络根据每个Token的隐藏状态,动态生成专属量子电路,不同Token、不同去噪步骤可用不同电路。
- 采用稀疏连接与IQP量子电路设计,测量期望值可经典求解,计算量随量子比特数线性增长,缓解梯度消失。
- 64量子比特下相比冻结主干提升4.71分,超过同主干LoRA微调,而指令微调数据只有后者的十分之一。
- 量子电路并非越大越好:16量子比特时甚至低于冻结主干,扩展到64量子比特后性能才显著提升。
- 量子电路部署到IBM 156量子比特量子集群,64量子比特下六项零样本平均分仅比经典模拟低1.12分。
为什么值得看
看量子计算如何反向增强大模型,小模型逆袭大模型的新路径。
适合谁关注
关注大模型架构、量子计算与AI交叉方向的研究者和从业者。