GTA：从目标中心表示引导空间注意力迁移
计算机视觉与模式识别
2024-01-08 v1 机器学习
摘要
在迁移学习中利用训练良好的表示通常比从头训练获得更优的性能和更快的收敛。然而，即使迁移了这些良好的表示，模型也容易在有限的训练数据集上过拟合，从而丢失迁移表示的有价值属性。由于ViT的归纳偏置较低，这种现象更为严重。通过使用ViT中的注意力图进行实验分析，我们观察到丰富的表示在小型数据集上训练时会退化。受此发现启发，我们提出了一种新颖且简单的ViT正则化方法，称为引导空间注意力迁移（GTA）。我们提出的方法对源模型和目标模型之间的自注意力图进行正则化。通过这种显式正则化，目标模型可以充分利用与目标定位属性相关的知识。我们的实验结果表明，所提出的GTA在五个基准数据集上一致提高了准确率，尤其是在训练数据量较小时。
引用
@article{arxiv.2401.02656,
title = {GTA: Guided Transfer of Spatial Attention from Object-Centric Representations},
author = {SeokHyun Seo and Jinwoo Hong and JungWoo Chae and Kyungyul Kim and Sangheum Hwang},
journal= {arXiv preprint arXiv:2401.02656},
year = {2024}
}