CycDA：从图像到视频的无监督循环域自适应
计算机视觉与模式识别
2023-03-23 v3
摘要
尽管动作识别近年来取得了令人印象深刻的成果，但视频训练数据的采集与标注仍耗时且成本高昂。因此，研究者提出图像到视频的自适应方法，以利用免标注的网络图像源对无标签目标视频进行自适应。这带来两大挑战：(1) 网络图像与视频帧之间的空间域偏移；(2) 图像与视频数据之间的模态鸿沟。为应对这些挑战，我们提出循环域自适应（CycDA），一种基于循环的无监督图像到视频域自适应方法，一方面利用图像与视频中的联合空间信息，另一方面训练独立的时空模型以弥合模态鸿沟。我们在每个循环中交替进行空间与时空学习，并在两者之间进行知识迁移。我们在图像到视频以及混合源域自适应的基准数据集上评估了我们的方法，取得了最先进的结果，并展示了循环自适应的优势。代码见 \url{https://github.com/wlin-at/CycDA}。
引用
@article{arxiv.2203.16244,
title = {CycDA: Unsupervised Cycle Domain Adaptation from Image to Video},
author = {Wei Lin and Anna Kukleva and Kunyang Sun and Horst Possegger and Hilde Kuehne and Horst Bischof},
journal= {arXiv preprint arXiv:2203.16244},
year = {2023}
}
备注
Accepted at ECCV2022. Supplementary included