稀疏高秩适配器实现快速切换与多适配器融合
机器学习
2024-07-25 v1
摘要
本文提出稀疏高秩适配器（Sparse High Rank Adapters, SHiRA），直接对基础模型权重的 1-2% 进行微调，保持其他参数不变，从而形成高度稀疏的适配器。这种高稀疏性无需推理开销，可实现快速切换，直接融合模式，显著降低多适配器融合时的概念损失。我们在 LVMs 和 LLMs 上的大量实验表明，仅对基础模型微调 1-2% 的参数即可完成许多适配任务，且显著优于低秩适配（Low Rank Adaptation, LoRA）。我们还展示 SHiRA 与诸如 DoRA 等先进 LoRA 方法是正交的，可轻松与现有技术结合。
引用
@article{arxiv.2407.16712,
title = {Rapid Switching and Multi-Adapter Fusion via Sparse High Rank Adapters},
author = {Kartikeya Bhardwaj and Nilesh Prasad Pandey and Sweta Priyadarshi and Viswanath Ganapathy and Rafael Esteves and Shreya Kadambi and Shubhankar Borse and Paul Whatmough and Risheek Garrepalli and Mart Van Baalen and Harris Teague and Markus Nagel},
journal= {arXiv preprint arXiv:2407.16712},
year = {2024}
}
备注
Published at ICML 2024 Workshop on Foundation Models in the Wild. arXiv admin note: substantial text overlap with arXiv:2406.13175