低秩适应中的子空间混合方法
机器学习
2025-03-04 v4 人工智能
摘要
本文引入一种基于子空间的低秩适应（Low-Rank Adaptation, LoRA）方法，该方法计算效率高、实现简单且可轻松应用于大型语言模型、多模态模型和扩散模型。最初，我们将LoRA的权重等价分解为两个子空间，发现仅仅对其进行混合即可提升性能。为研究这一现象，我们通过细粒度的子空间视角重新审视了它，表明这种修改等价于使用固定混合器来融合子空间。为更具灵活性，我们联合学习混合器与原始LoRA权重，称该方法为子空间混合LoRA（Mixture-of-Subspaces LoRA, MoSLoRA）。MoSLoRA在不同模态的任务上 consistently 优于LoRA，包括常识推理、视觉指令调优和主题驱动的文本到图像生成，显示其有效性和鲁棒性。代码已公开于 https://github.com/wutaiqiang/MoSLoRA。
引用
@article{arxiv.2406.11909,
title = {Mixture-of-Subspaces in Low-Rank Adaptation},
author = {Taiqiang Wu and Jiahao Wang and Zhe Zhao and Ngai Wong},
journal= {arXiv preprint arXiv:2406.11909},
year = {2025}
}
备注
EMNLP 2024 Main, Oral