Dyn-Adapter：用于高效视觉识别的无缝表示

参数高效迁移学习 (PETL) 是一个富有前景的任务，旨在以相对有限的成本适应大规模预训练模型以适应下游任务。然而，当前的 PETL 方法在压缩计算复杂度方面仍有挑战，且因完整的前向过程而承担沉重的推理负担。本文提出了一种高效视觉识别范式，称为动态适配器 (Dyn-Adapter)，通过在多个层次上精细地无缝化特征来提升 PETL 的效率。我们的做法简单：首先，我们构思了一个具有平衡早期头部的动态架构，用于多层次特征提取，同时采用自适应训练策略。其次，我们引入由追求强大泛化能力驱动的双向稀疏策略。这些特征使我们能够高效且有效地进行微调：在推理时降低 50% 的 FLOPs，同时保持或甚至提高识别准确率。对多样化数据集和各种预训练主干网络进行的广泛实验表明，Dyn-Adapter 作为一种通用的 PETL 效率提升器，在视觉识别任务中具有巨大的潜力。