Adapter 即你所需:面向视觉任务的调优
计算机视觉与模式识别
2023-12-01 v2
摘要
预训练与微调可提升视觉任务中的迁移效率与性能。近期的 delta-tuning 方法为视觉分类任务提供了更多选择。尽管取得成功,现有视觉 delta-tuning 方法在实例分割与语义分割等挑战性任务上未能超越全微调的上限。为寻找全微调的竞争性替代方案,我们提出多认知视觉适配器(Mona)调优,一种基于适配器的新型调优方法。首先,我们在适配器中引入多个视觉友好滤波器以增强其处理视觉信号的能力,而先前方法主要依赖语言友好线性滤波器。其次,我们在适配器中加入缩放归一化层以调节视觉滤波器的输入特征分布。为充分证明 Mona 的实用性与通用性,我们在多个代表性视觉任务上开展实验,包括 COCO 上的实例分割、ADE20K 上的语义分割、Pascal VOC 上的目标检测以及若干常用数据集上的图像分类。令人振奋的结果表明,Mona 在所有这些任务上均超越全微调,且是唯一在实例分割与语义分割任务上优于全微调的 delta-tuning 方法。例如,相比全微调,Mona 在 COCO 数据集上取得 1% 的性能增益。综合结果表明,Mona-tuning 比全微调更适合保留并利用预训练模型的能力。代码将发布于 https://github.com/Leiyi-Hu/mona。
引用
@article{arxiv.2311.15010,
title = {Adapter is All You Need for Tuning Visual Tasks},
author = {Dongshuo Yin and Leiyi Hu and Bin Li and Youqun Zhang},
journal= {arXiv preprint arXiv:2311.15010},
year = {2023}
}