逐渐消失的原型网络在无监督域适应中的保护间隙
计算机视觉与模式识别
2024-05-29 v1
摘要
无监督域适应（UDA）是迁移学习中的关键问题，旨在将有标签源域的语义信息迁移到无标签目标域。近期在 UDA 模型方面的进展已显示出在目标域上具有显著的泛化能力。然而，UDA 模型的泛化边界仍不清晰。当域差异过大时，模型无法保持分布结构，导致在对齐期间发生分布坍塌。为解决这一挑战，我们提出了一个高效的 UDA 框架，称为逐渐消失的原型网络（GVG-PN），从全局和局部两个角度实现迁移学习。从全局对齐角度看，我们的模型生成一个受域偏好的中间域，以帮助保持分布结构。通过交叉域特征的纠缠，我们的模型逐渐减少分布坍塌的风险。然而，仅依赖全局对齐不足以保持分布结构。为进一步增强特征内部关系，我们引入局部视角。我们利用图卷积网络（GCN）作为一种直观的方法来探索特征之间的内部关系，确保保持流形结构并生成受域偏好的原型。此外，我们考虑特征内部关系的判别性。我们提出一种对比损失，以分离硬负样本对的方式，提高在原型级别上的判别性。通过融合 GCN 和对比损失，我们的模型充分探索了细粒度语义关系。在多个 UDA 基准测试上进行的实验表明，提出的 GVG-PN 能明显优于当前的 SOTA 模型。
引用
@article{arxiv.2405.17774,
title = {Gradually Vanishing Gap in Prototypical Network for Unsupervised Domain Adaptation},
author = {Shanshan Wang and Hao Zhou and Xun Yang and Zhenwei He and Mengzhu Wang and Xingyi Zhang and Meng Wang},
journal= {arXiv preprint arXiv:2405.17774},
year = {2024}
}