Pear：面向视觉参数高效微调的剪枝与共享适配器
计算机视觉与模式识别
2024-10-01 v1
摘要
适配器已被广泛探索，以缓解在微调预训练基础模型时的计算和存储成本。然而，适配器本身可能具有冗余，导致不必要的存储开销和性能下降。本文提出Prune and Share (Pear)，一种用于预训练视觉基础模型高效微调的新型适配器剪枝框架。具体而言，我们剪枝某些适配器，并与适配器被剪枝的位置共享更重要的未剪枝适配器，允许在剪枝后继续适配这些位置。此外，引入一种知识检查点策略，保存被剪枝适配器的信息，并进一步提升性能。在视觉适应基准上的实验结果验证了所提出Pear方法在与其他竞争方法之间的有效性和效率。代码请参见 https://github.com/yibozhong/pear。
引用
@article{arxiv.2409.19733,
title = {Pear: Pruning and Sharing Adapters in Visual Parameter-Efficient Fine-Tuning},
author = {Yibo Zhong and Yao Zhou},
journal= {arXiv preprint arXiv:2409.19733},
year = {2024}
}