iDAT：逆蒸馏适配器微调

适配器微调（AT）方法冻结预训练模型并引入可训练的适配器模块以获取下游知识，从而校准模型以更好地适应下游任务。本文为AT方法提出了一种蒸馏框架，而不是设计精心设计的适配器模块，旨在提高微调性能。我们首次探索了将AT方法与知识蒸馏结合的可能性。通过统计分析，我们观察到不同模型的适配器模块在知识获取方面存在显著差异。利用这些差异，我们提出了一种简单而有效的框架，称为逆蒸馏适配器微调（iDAT）。具体来说，我们将较小的模型指定为教师，较大的模型指定为学生。两者联合训练，并应用在线知识蒸馏将不同视角的知识注入学生模型，显著增强下游任务的微调性能。在包含19个图像分类任务的VTAB-1K基准上的大量实验证明了iDAT的有效性。结果表明，在我们的iDAT框架内使用现有的AT方法可以进一步获得2.66%的性能提升，仅增加0.07M可训练参数。我们的方法与最先进的方法相比具有竞争力，且无需花哨的技巧。我们的代码可在https://github.com/JCruan519/iDAT获取。