是否将参数高效模块组合可以提高 few-shot 迁移准确率?
机器学习
2024-02-26 v1 计算机视觉与模式识别
摘要
参数高效微调是高效在下游任务上微调大型语言和视觉模型的标准做法。具体而言, 低秩适应的效率促进了数百个针对不同下游任务数据训练的自定义 LoRA 模块的创建和共享。在本文中, 我们探讨了 LoRA 模块的可组合性, 检查将这些预训练模块组合在一起是否可以增强对未见下游任务的泛化。我们的研究涉及评估两种方法: (a) 均匀组合, 即对上游 LoRA 模块进行等权平均; (b) 学习型组合, 其中我们学习每个上游模块的权重并进行加权平均.我们的实验结果在视觉和语言模型上显示, 在 few-shot 设置下, 即仅在下游任务中获得有限样本时, 两种均匀和学习型组合方法都能实现更好的迁移准确率; 超过全参数微调和从头训练 LoRA。此外, 在 full-shot 设置下, 学习型组合在显著减少可训练参数数量的同时, 与常规 LoRA 训练相当。我们的研究揭示了在低样本设置下利用均匀组合增强迁移性的潜力, 无需引入额外可训练参数。
引用
@article{arxiv.2402.15414,
title = {Does Combining Parameter-efficient Modules Improve Few-shot Transfer Accuracy?},
author = {Nader Asadi and Mahdi Beitollahi and Yasser Khalil and Yinchuan Li and Guojun Zhang and Xi Chen},
journal= {arXiv preprint arXiv:2402.15414},
year = {2024}
}