ProgramAsWeights:将英文函数描述编译为本地运行的神经程序

2026.09.20 · 产品 · 开源项目 · 本人发布

滑铁卢大学开源项目,用大模型生成小模型权重,实现本地CPU运行文本函数。

滑铁卢大学研究者发布开源项目ProgramAsWeights(PAW),可将英文函数描述编译为可复用的神经程序,并在本地CPU上运行。其编译器用微调的Qwen3-4B生成LoRA适配器,加载到冻结的Qwen3-0.6B解释器上,实现分类、提取等文本函数。在FuzzyBench上,PAW达到73.4%的精确匹配准确率,超过直接提示Qwen3-32B的68.7%。

  • 编译与推理分离,任务固定时高效执行
  • 编译器生成LoRA适配器,解释器权重冻结
  • FuzzyBench上73.4%准确率,超32B模型
  • Compile by Training模式可达83.6%语义准确率
  • 支持本地运行,无需外部API

为什么值得看

展示一种新范式:用大模型生成小模型权重,实现本地高效推理。

适合谁关注

对模型压缩、本地部署和程序合成感兴趣的开发者与研究者。

原始来源