iConFormer：基于输入条件适应的动态参数高效调优
计算机视觉与模式识别
2025-04-07 v2
摘要
深度模型规模指数级增长后，基于迁移学习的全参数微调(FFT)对预训练编码器和任务特定解码器的微调变得日益复杂。参数高效微调(PEFT)方法使用由小型可学习层组成的适配器 emerged 作为 FFT 的替代方案，能够在保持高训练效率的同时实现相当的性能。然而，适配器对输入实例的不灵活性限制了其在多样化下游任务中学习任务特定信息的能力。本文提出一种新颖的 PEFT 方法，输入条件 transFormer，称为 iConFormer，该方法利用基于输入实例条件化的动态适配器。为确保在各种下游任务中对输入实例具有灵活的学习能力，我们在动态适配器中引入输入条件网络(iCoN)，该网络通过自适应卷积过程实现对每个特征的通道级卷积核生成，以有效捕获针对下游任务的任务特定和细粒度细节。实验结果表明，仅调节 1.6%至 2.8% 的 Transformer backbone 参数，iConFormer 在单目深度估计和语义分割中实现与 FFT 相当的性能，而在图像分类和实例分割中超越 FFT。此外，该方法在上述所有任务中持续优于最近的 PEFT 方法。
引用
@article{arxiv.2409.02838,
title = {iConFormer: Dynamic Parameter-Efficient Tuning with Input-Conditioned Adaptation},
author = {Hayeon Jo and Hyesong Choi and Minhee Cho and Dongbo Min},
journal= {arXiv preprint arXiv:2409.02838},
year = {2025}
}