SHERL：面向资源受限场景的参数高精度与高效内存迁移学习综合方法
计算机视觉与模式识别
2024-07-11 v1 多媒体
摘要
参数高效迁移学习(PETL)近年来成为一个蓬勃发展的研究领域，通过大幅减少可训练参数来适应大型预训练模型以应对下游任务，同时在微调过程中应对内存挑战。为此，基于内存的序列迁移学习(METL)避免通过大型主干网络反向传播梯度，但它们的做法是仅依赖冻结的中间输出，限制了对预训练模型先验知识的充分探索。此外，跨层特征之间的依赖性和冗余性常常被忽视，从而导致更具辨识力的表征被埋没，并造成固有的性能差距（相对于传统PETL方法）。因此，我们提出一种创新的METL策略，称为SHERL，专为资源受限场景设计，将整个适应过程分解为两个相继且互补的过程。在早期路径中，通过反冗余操作来整合中间输出，以增强其与后续交互的兼容性；在晚期路径中，利用最小的后期预训练层可减轻峰值内存开销，并将这些相对灵活的特征调节为更具适应性和强大表征力，用于新领域。针对视觉-语言和语言-only任务进行的大量消融实验表明，SHERL结合了参数高效和内存高效技术的优势，在更低的微调内存下实现与各类架构相当或更好的性能。我们的代码已公开：https://github.com/Paranioar/SHERL。
引用
@article{arxiv.2407.07523,
title = {SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning},
author = {Haiwen Diao and Bo Wan and Xu Jia and Yunzhi Zhuge and Ying Zhang and Huchuan Lu and Long Chen},
journal= {arXiv preprint arXiv:2407.07523},
year = {2024}
}
备注
23 pages, 11 figures, Accepted by ECCV2024