基于对比学习的注意力残差融合网络用于无源域适应

无源域适应(SFDA)涉及在源域上训练模型，然后在适应过程中无法访问源数据和标签的情况下将其应用于相关目标域。场景信息的复杂性和源域的缺失使得SFDA成为一项困难任务。近期研究显示出有希望的结果，但许多域适应方法专注于域偏移而忽视了负迁移的影响，这可能会阻碍适应过程中模型性能的提升。在本文中，针对此问题，我们提出了一种新颖的基于对比学习的注意力残差融合网络(ARFNet)框架用于SFDA，以在适应过程中缓解负迁移和域偏移，其中利用了注意力残差融合、全局-局部注意力对比和动态质心评估。具体来说，首先利用注意力机制捕捉目标对象的判别区域。然后，在每个块中，将注意力特征分解为空间注意力和通道注意力，以逐步实现跨层注意力残差融合和自蒸馏。在适应过程中，我们对比全局和局部表示以提高对不同类别的感知能力，使模型能够区分类别间和类别内的变化。最后，采用动态质心评估策略来评估用于自监督自蒸馏的可信质心和标签，旨在精确近似源域中心和伪标签以减轻域偏移。为验证有效性，我们在五个不同规模的基准上进行了全面实验。实验结果表明，我们的方法优于其他技术，在SFDA基准上取得了优越性能。