面向视频域自适应的对抗二分图学习

域自适应技术专注于在不同分布域之间适配模型，但由于源域（即训练域）与目标域（即测试域）之间存在显著的时空偏移，该技术在视频识别领域鲜有探索。因此，近期利用对抗学习统一源域和目标域视频表示并增强特征可迁移性的视觉域自适应工作，在视频上的效果并不理想。为克服此局限，本文不学习域不变表示，而是学习一个域无关的视频分类器，并提出一种对抗二分图（Adversarial Bipartite Graph, ABG）学习框架，该框架通过二分图的网络拓扑直接建模源-目标交互。具体而言，源域和目标域帧被采样为异质顶点，而连接两类节点的边度量它们之间的亲和度。通过消息传递，每个顶点聚合来自其异质邻居的特征，迫使来自同一类的特征均匀混合。在训练和测试阶段将视频分类器显式暴露于此类跨域表示下，使我们的模型较少偏倚于有标注的源域数据，进而在目标域上获得更好的泛化能力。为进一步增强模型能力并验证所提架构在困难迁移任务上的鲁棒性，我们将模型扩展至半监督设定，使用额外的视频级二分图。在四个基准上进行的广泛实验证明了所提方法在视频识别任务上优于 SOTA 方法的有效性。