跨层低秩互连适应
计算机视觉与模式识别
2025-05-30 v3
摘要
Low-rank adaptation (LoRA)是一种广泛用于参数高效微调（PEFT）的方法，通过低秩适配器A和B学习预训练权重W的权重更新。虽然LoRA确保了硬件效率，但其低秩权重更新限制了适应性能。在本文中，我们提出了跨层低秩互连适应（Lily），这是一种新的PEFT方法，引入了具有本地共享A和全局共享B专家的互连框架。这种结构消除了冗余的逐层AB对，使更高秩的能够在相同或更少的参数下实现。为了增强可表达性，我们使用数据依赖路由器来确定A-B互连，防止B专家收敛到相同的行为，从而提高跨域的表示能力。跨模态、架构和模型大小的实验表明，Lily在性能和效率方面均表现出优越性。GitHub: https://github.com/yibozhong/lily
引用
@article{arxiv.2407.09946,
title = {Low-Rank Interconnected Adaptation across Layers},
author = {Yibo Zhong and Jinman Zhao and Yao Zhou},
journal= {arXiv preprint arXiv:2407.09946},
year = {2025}
}
备注
Accepted to ACL 2025 (findings, long paper)