ProgramAsWeights:将英文函数描述编译为本地运行的神经程序
2026.09.20 · 产品 · 开源项目 · 本人发布
滑铁卢大学开源项目,用大模型生成小模型权重,实现本地CPU运行文本函数。
滑铁卢大学研究者发布开源项目ProgramAsWeights(PAW),可将英文函数描述编译为可复用的神经程序,并在本地CPU上运行。其编译器用微调的Qwen3-4B生成LoRA适配器,加载到冻结的Qwen3-0.6B解释器上,实现分类、提取等文本函数。在FuzzyBench上,PAW达到73.4%的精确匹配准确率,超过直接提示Qwen3-32B的68.7%。
- 编译与推理分离,任务固定时高效执行
- 编译器生成LoRA适配器,解释器权重冻结
- FuzzyBench上73.4%准确率,超32B模型
- Compile by Training模式可达83.6%语义准确率
- 支持本地运行,无需外部API
为什么值得看
展示一种新范式:用大模型生成小模型权重,实现本地高效推理。
适合谁关注
对模型压缩、本地部署和程序合成感兴趣的开发者与研究者。