ALoRE：基于聚合低秩专家的高效视觉适应方法
计算机视觉与模式识别
2024-12-12 v1 机器学习
摘要
参数高效迁移学习（Parameter-efficient transfer learning，PETL）已成为为大规模视觉基础模型适应下游任务的有前景方法。典型方法主要利用内在的低秩特性进行分解，学习任务特定的权重，同时压缩参数规模。然而，这些方法主要在原始特征空间内通过单分支结构进行操作，可能无法最佳地解耦所学的表征与模式。本文提出了ALoRE，是一种新的PETL方法，通过利用Kronecker积构建的超复数参数空间来聚合低秩专家，采用多分支范式，解耦训练期间所学的认知模式。得益于巧妙的设计，ALoRE仅需添加极少的额外参数，即可通过顺序方式在冻结的主干网络中进行重参数化，避免额外的推理延迟。我们在24个图像分类任务上使用各种主干模型进行了大量实验。实验结果表明，ALoRE在性能和参数效率方面均优于全参数微调策略和其他最先进的PETL方法。例如，ALoRE在FGVC数据集和VTAB-1k基准上相较于全参数微调平均提高了3.06%和9.97%的Top-1准确率，仅更新0.15M个参数。
引用
@article{arxiv.2412.08341,
title = {ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts},
author = {Sinan Du and Guosheng Zhang and Keyao Wang and Yuanrui Wang and Haixiao Yue and Gang Zhang and Errui Ding and Jingdong Wang and Zhengzhuo Xu and Chun Yuan},
journal= {arXiv preprint arXiv:2412.08341},
year = {2024}
}
备注
23 pages, 7 figures