LoRA 汤：用于实用技能组合任务的 LoRA 合并
计算与语言
2024-12-03 v2 机器学习
摘要
低秩适应（LoRA）是大型语言模型（LLM）进行参数高效微调的流行技术。我们研究不同的 LoRA 模块如何被合并以实现技能组合——测试合并后模型在目标任务上的性能，该任务涉及组合多个技能，其中每个技能都来自单个 LoRA。这种设置在获取目标任务训练数据困难且可拆分为多个技能时尤为有利。首先，我们确定了可在技能组合领域研究的实际应用场景，例如使用代码解决困难的数学文字问题、创建用于回答专有手册或领域专业语料库问题的机器人。我们的主要贡献在于表明 LoRA 的拼接（CAT）——即对在不同技能上单独训练的 LoRA进行最优加权——的性能优于现有的模型和数据合并技术；例如在数学文字问题上，CAT 相较于这些方法平均提高了 43% 和 12%。因此，本文主张通过模型合并来高效解决组合任务，并强调 CAT 作为一种简单、计算友好且有效的程序。到目前为止，已有工作首次展示了模型合并在二进制技能组合任务中优于数据混合的优势。代码和数据已提供，地址为 https://github.com/aksh555/LoRA-Soups。
引用
@article{arxiv.2410.13025,
title = {LoRA Soups: Merging LoRAs for Practical Skill Composition Tasks},
author = {Akshara Prabhakar and Yuanzhi Li and Karthik Narasimhan and Sham Kakade and Eran Malach and Samy Jelassi},
journal= {arXiv preprint arXiv:2410.13025},
year = {2024}
}
备注
COLING 2025 Industry track; 9 pages plus references and appendices