对抗性掩码视频一致性用于无监督域适应
计算机视觉与模式识别
2024-03-26 v1
摘要
我们研究了自我中心视频的无监督域适应问题。我们提出了一种基于Transformer的模型，用于学习类别判别性和域不变的特征表示。该模型包含两个新颖设计。第一个模块称为生成对抗域对齐网络，旨在学习域不变表示。它同时以对抗方式学习一个掩码生成器和一个域不变编码器。域不变编码器被训练以最小化源域和目标域之间的距离。相反，掩码生成器旨在通过最大化域距离来生成具有挑战性的掩码。第二个是掩码一致性学习模块，用于学习类别判别性表示。它强制掩码目标视频与其完整形式之间的预测一致性。为了更好地评估域适应方法的有效性，我们为自我中心视频构建了一个更具挑战性的基准U-Ego4D。我们的方法在Epic-Kitchen和提出的U-Ego4D基准上达到了最先进的性能。
引用
@article{arxiv.2403.16242,
title = {Adversarially Masked Video Consistency for Unsupervised Domain Adaptation},
author = {Xiaoyu Zhu and Junwei Liang and Po-Yao Huang and Alex Hauptmann},
journal= {arXiv preprint arXiv:2403.16242},
year = {2024}
}