从统一视角重新审视高效微调方法
计算机视觉与模式识别
2023-03-02 v1
摘要
基于大规模预训练基础模型的参数高效迁移学习（PETL）已在各种下游应用中取得巨大成功。现有的微调方法，如 prompt、prefix 和 adapter，对原始架构的不同部分执行特定任务的轻量级调整。然而，它们仅对预训练模型的某些部分（即仅前馈层或自注意力层）生效，这使得其余冻结结构无法适应下游任务的数据分布。此外，现有结构与 Transformer 强耦合，阻碍了参数高效部署以及新方法的灵活设计。本文中，我们重新审视 PETL 的设计范式，并推导出一个用于参数高效迁移学习的统一框架 U-Tuning，其由具有冻结参数的操作和为下游应用调整该操作的统一调谐器组成。U-Tuning 框架可同时涵盖现有方法并推导用于参数高效迁移学习的新方法，在 CIFAR-100 和 FGVC 数据集上与现有 PETL 方法相比取得了相当或更好的性能。
引用
@article{arxiv.2303.00690,
title = {Rethinking Efficient Tuning Methods from a Unified Perspective},
author = {Zeyinzi Jiang and Chaojie Mao and Ziyuan Huang and Yiliang Lv and Deli Zhao and Jingren Zhou},
journal= {arXiv preprint arXiv:2303.00690},
year = {2023}
}