S2A：参数与内存高效迁移学习的统一框架
计算机视觉与模式识别
2025-06-03 v3
摘要
参数高效迁移学习（PETL）旨在减少预训练模型的规模，以适应多个下游任务。然而，随着模型规模不断扩大，现有PETL方法的内存占用在可调参数减少之后并未显著降低。这一限制阻碍了PETL方法在内存受限设备上的实际部署。为此，我们提出了新的PETL框架，称为结构到激活（Structure to Activation，S2A），以降低微调期间激活值的内存占用。具体而言，我们的框架包括：1）在参数化模型结构中设计激活模块（即偏置、提示和侧模块），从而显著减少可调参数和激活内存；2）基于激活值的导数对非参数化结构（如非线性函数）进行4位量化，既保持精度，又大幅降低内存使用。因此，S2A方法在参数和内存占用方面都提供了轻量级解决方案。我们使用不同的主干网络评估了S2A，并在多个数据集上进行了广泛实验以评估其有效性。结果表明，我们的方法不仅超越了现有的PETL技术，在GPU内存占用方面平均降低了四倍，还在更少的可调参数下表现出竞争性能。这表明该方法高度适合用于硬件受限设备上的实际迁移学习。
引用
@article{arxiv.2503.08154,
title = {S2A: A Unified Framework for Parameter and Memory Efficient Transfer Learning},
author = {Tian Jin and Enjun Du and Changwei Wang and Wenhao Xu and Ding Luo},
journal= {arXiv preprint arXiv:2503.08154},
year = {2025}
}