LARA：为冻结大模型添加小型可组合行为模块的开源项目
2026.09.16 · 产品 · 开源项目 · 本人发布
研究者发布LARA库，通过低秩残差适配器为冻结语言模型添加可组合行为。
研究者开发了LARA（Lightweight Additive Residual Adaptation），一种为冻结语言模型实现模块化后训练的方法。它训练低秩残差适配器，而非修改模型权重，行为可独立保存、加载、移除、混合或路由。项目提供PyTorch库，包含与LoRA的对比及写作风格行为演示。
- 训练低秩残差适配器，不修改模型权重
- 行为可加载、移除、混合或路由
- Mixture of Behaviors演示支持按token路由
- 包含与LoRA的对比实验
- 提供训练代码、示例和复现说明
为什么值得看
展示一种轻量级模块化后训练思路，可能降低多任务模型维护成本。
适合谁关注
关注大模型高效微调与模块化部署的研究者和工程师。