用于视觉域适应的可迁移对比学习
计算机视觉与模式识别
2021-12-15 v1 人工智能
多媒体
摘要
自监督学习（SSL）近来已成为特征学习方法中的首选。因此，域适应方法考虑引入 SSL 是很有吸引力的。其直觉是强制实例级特征一致性，使预测器在跨域时某种程度不变。然而，域适应框架下大多数现有 SSL 方法通常被视为独立的辅助组件，忽略了域适应的本质特征。实际上，域间隙消失的最优区域与 SSL 所追求的实例级约束可能根本不重合。从这一点出发，我们提出了一种专为域适应定制的自监督学习范式，即可迁移对比学习（TCL），它将 SSL 与期望的跨域可迁移性一致地联系起来。我们发现对比学习本质上是域适应的合适候选，因为其实例不变性假设可方便地提升为域适应任务所青睐的跨域类级不变性。基于特定的记忆库构建与伪标签策略，TCL 随后通过一种简洁新颖的对比损失来惩罚源域与目标域之间的跨域类内域差异。额外的好处是，由于引入了对比学习，TCL 依赖于一个滑动平均的键编码器，它自然地对目标数据的伪标签实现了时间集成版本，从而在零额外成本下避免了伪标签误差传播。因此 TCL 高效地缩小了跨域差距。通过在基准（Office-Home、VisDA-2017、Digits-five、PACS 和 DomainNet）上对单源与多源域适应任务的大量实验，TCL 展示了最先进的性能。
引用
@article{arxiv.2112.07516,
title = {Transferrable Contrastive Learning for Visual Domain Adaptation},
author = {Yang Chen and Yingwei Pan and Yu Wang and Ting Yao and Xinmei Tian and Tao Mei},
journal= {arXiv preprint arXiv:2112.07516},
year = {2021}
}
备注
ACM Multimedia 2021