MLAE：基于掩码的 LoRA 专家用于视觉参数高效微调
计算机视觉与模式识别
2024-10-11 v2
摘要
针对全参数微调大规模预训练模型所需的大量参数更新这一挑战，参数高效微调（PEFT）方法，例如低秩迁移（LoRA），已然涌现。虽然 LoRA 简化了微调过程，但仍可能在低秩矩阵中存在一定的冗余，并受限于仅增加秩的有限效果。为此，一种自然的想法是增强低秩矩阵学习过程的独立性和多样性。因此，我们提出了掩码 LoRA 专家（Masked LoRA Experts，MLAE），这是一种创新的方法， 将掩码概念应用于视觉 PEFT。该方法包含一种细胞分解策略，将低秩矩阵转化为独立的秩-1 子矩阵（即“专家”），从而增强独立性。此外，我们引入二元掩码矩阵， selectively 激活这些专家以进行训练，以基于专家级别的 dropout 策略促进更多样和各向异性的学习。我们的研究表明，这种选择性激活不仅提升了性能，还促进了知识获取的多样性，显著降低了 MLAE 各参数之间的相似度，从而大幅提升模型质量。值得注意的是，MLAE 以在 VTAB-1k 基准测试上平均 78.8% 的准确率和在 FGVC 基准测试上 90.9% 的准确率实现了新的最先进（SOTA）性能，分别比前一 SOTA 结果提高了约 0.8%，且参数数量约为其一半。我们的代码已公开于 https://github.com/jie040109/MLAE。
引用
@article{arxiv.2405.18897,
title = {MLAE: Masked LoRA Experts for Visual Parameter-Efficient Fine-Tuning},
author = {Junjie Wang and Guangjing Yang and Wentao Chen and Huahui Yi and Xiaohu Wu and Zhouchen Lin and Qicheng Lao},
journal= {arXiv preprint arXiv:2405.18897},
year = {2024}
}
备注
Tech report