对比与混合：基于背景混合的时间对比视频域适应
计算机视觉与模式识别
2021-10-29 v1
摘要
无监督域适应旨在将标注源域上训练的模型适配到完全无标注的目标域，近年来备受关注。尽管已提出许多针对图像的域适应技术，视频中的无监督域适应问题仍很大程度上未被充分探索。本文引入 Contrast and Mix (CoMix)，一种新颖的对比学习框架，旨在为无监督视频域适应学习判别性的不变特征表示。首先，不同于现有依赖对抗学习进行特征对齐的方法，我们利用时间对比学习，通过最大化以两种不同速度播放的无标注视频的编码表示间的相似度，以及最小化以不同速度播放的不同视频间的相似度，来弥合域间隙。其次，我们通过对时间对比损失使用背景混合提出一种新颖扩展，其为每个锚点提供额外正样本，从而将对比学习适配为利用两域间共享的动作语义。此外，我们还整合了使用目标伪标签的监督对比学习目标，以增强视频域适应潜空间的判别性。在多个基准数据集上的大量实验证明了我们所提方法优于 SOTA 方法。项目主页：https://cvir.github.io/projects/comix
引用
@article{arxiv.2110.15128,
title = {Contrast and Mix: Temporal Contrastive Video Domain Adaptation with Background Mixing},
author = {Aadarsh Sahoo and Rutav Shah and Rameswar Panda and Kate Saenko and Abir Das},
journal= {arXiv preprint arXiv:2110.15128},
year = {2021}
}
备注
Accepted to NeurIPS 2021. Project page: https://cvir.github.io/projects/comix