MoSA：面向视觉高效微调的稀疏适配器混合
计算机视觉与模式识别
2024-03-26 v2
摘要
随着预训练基础模型规模的快速增长，参数高效微调技术获得了显著关注，其中适配器微调（Adapter Tuning）应用最为广泛。尽管实现了效率，其性能仍不及全量微调，且性能提升以参数增加为代价。近期工作要么侧重于训练多个适配器专家以增加模型容量，要么侧重于剪枝适配器以实现参数效率。然而，这两种方法相比原始适配器都引入了更多参数，因此计算效率不高。受此启发，我们提出稀疏适配器混合（Mixture of Sparse Adapters，简称MoSA），作为一种新颖的适配器微调方法，以充分释放适配器中每个参数的潜力。我们首先将标准适配器拆分为多个不重叠的模块，然后随机激活它们进行稀疏训练，最后在微调后将它们合并形成一个完整的适配器。通过这种方式，MoSA 能在不增加任何额外计算或存储开销的情况下，实现比标准适配器显著更优的性能。此外，我们提出了一种分层稀疏策略，以更好地利用有限的训练数据。在27个视觉任务系列上的大量实验表明，MoSA 始终以较大优势优于其他适配器微调方法及其他基线。此外，MoSA 在不同模型规模、架构以及不同的参数高效微调（PEFT）方法上均带来了一致的改进。代码将开源。
引用
@article{arxiv.2312.02923,
title = {MoSA: Mixture of Sparse Adapters for Visual Efficient Tuning},
author = {Qizhe Zhang and Bocheng Zou and Ruichuan An and Jiaming Liu and Shanghang Zhang},
journal= {arXiv preprint arXiv:2312.02923},
year = {2024}
}
备注
16 pages, 7 figures. Official code: https://github.com/Theia-4869/MoSA