通过势能视角探究模型可迁移性
计算机视觉与模式识别
2023-08-30 v1 机器学习
摘要
由于预训练深度学习模型的大量可用，迁移学习在计算机视觉任务中已变得至关重要。然而，从多样化的模型池中为特定下游任务选择最优预训练模型仍然是一项挑战。现有的预训练模型可迁移性度量方法依赖于编码静态特征与任务标签之间的统计相关性，但忽视了微调过程中底层表征动态的影响，导致结果不可靠，尤其是对于自监督模型。在本文中，我们提出了一种受物理学启发的、名为PED的深刻方法来应对这些挑战。我们通过势能的视角重新构建模型选择问题，并直接建模影响微调动态的交互力。通过捕获动态表征在力驱动物理模型内降低势能的运动，我们可以获得一种增强且更稳定的观测来估计可迁移性。在10个下游任务和12个自监督模型上的实验结果表明，我们的方法能够无缝集成到现有的排序技术中并提升其性能，揭示了其在模型选择任务中的有效性以及对理解迁移学习机制的潜力。代码将发布于 https://github.com/lixiaotong97/PED。
引用
@article{arxiv.2308.15074,
title = {Exploring Model Transferability through the Lens of Potential Energy},
author = {Xiaotong Li and Zixuan Hu and Yixiao Ge and Ying Shan and Ling-Yu Duan},
journal= {arXiv preprint arXiv:2308.15074},
year = {2023}
}
备注
Accepted by ICCV 2023