IterIS：用于 LoRA 合并的迭代推理-求解对齐
机器学习
2025-04-16 v2 人工智能
摘要
低秩适应（LoRA）广泛用于在各种领域针对特定下游任务进行微调。尽管任务特定 LoRA 常可用，但关于数据隐私和知识产权的担忧可能限制对训练数据的访问，从而限制通过基于梯度的训练获取多任务模型。作为响应，LoRA 合并通过将多个 LoRA 组合为统一适配器而提供了有效解决方案，同时保持数据隐私。先前的 LoRA 合并方法主要将其表述为优化问题，但这些方法面临若干局限，包括对输入特征在优化中所做的粗略假设、对样本需求的大量要求以及优化目标的不平衡。这些局限会显著降低性能。为此，我们提出一种新型基于优化的方法，命名为 IterIS：1）我们将 LoRA 合并表述为更高级的优化问题，以缓解粗略假设。此外，我们在算法中采用迭代推理-求解框架。它可以逐步细化优化目标以提高性能。2）我们引入一种高效的规则化项，以减少对大量样本需求的需要（仅需相对于先前方法的 1-5% 的无标签样本）。3）我们在优化目标中利用自适应权重，以缓解 LoRA 合并过程中可能的不平衡。我们的方法在文本到图像扩散、视觉-语言模型和大语言模型的任务组合中相对于多个基线和最新方法显示出显著的改进。此外，我们的层级算法可实现最小步数收敛，确保在内存和计算方面的效率。
引用
@article{arxiv.2411.15231,
title = {IterIS: Iterative Inference-Solving Alignment for LoRA Merging},
author = {Hongxu Chen and Runshi Li and Bowei Zhu and Zhen Wang and Long Chen},
journal= {arXiv preprint arXiv:2411.15231},
year = {2025}
}