从精度冗余视角重新审视适配器的参数高效性
计算机视觉与模式识别
2023-08-01 v1
摘要
当前计算机视觉中的最优结果部分依赖于对大型预训练视觉模型的微调。然而,随着模型规模的指数级增长,需要为每个任务存储独立网络副本的传统全微调导致了日益巨大的存储与传输开销。基于适配器的参数高效微调(PET)方法通过在冻结的预训练模型中插入轻量适配器进行调优来应对这一挑战。本文中,我们探究如何使适配器更加高效,达到存储任务特定微调网络所需的新最小规模。受适配器参数在平坦局部极小值处收敛这一观察的启发,我们发现适配器对参数空间中的噪声具有抗性,这意味着它们也对低数值精度具有抗性。为训练低精度适配器,我们提出了一种计算高效的量化方法以最小化量化误差。通过大量实验,我们发现低精度适配器表现出极小的性能退化,甚至1-bit精度对适配器已足够。实验结果表明,在VTAB-1K基准与少样本细粒度视觉分类(FGVC)任务上,1-bit适配器优于所有其他PET方法,同时所需存储尺寸最小。我们的发现首次展示了量化技术在PET中的显著潜力,为提升基于适配器的PET方法的参数高效性提供了通用解决方案。代码:https://github.com/JieShibo/PETL-ViT
引用
@article{arxiv.2307.16867,
title = {Revisiting the Parameter Efficiency of Adapters from the Perspective of Precision Redundancy},
author = {Shibo Jie and Haoqing Wang and Zhi-Hong Deng},
journal= {arXiv preprint arXiv:2307.16867},
year = {2023}
}
备注
Accepted to ICCV 2023