面向无监督视频域适应的内存高效时序与视觉图模型
计算机视觉与模式识别
2022-08-16 v1
摘要
现有视频域适应（DA）方法需要存储视频帧的所有时序组合或配对源视频与目标视频，内存开销大，且无法扩展到长视频。为克服这些局限，我们提出如下一种内存高效的基于图的视频DA方法。首先，我们的方法用图建模每个源或目标视频：节点表示视频帧，边表示帧间的时序或视觉相似关系。我们使用图注意力网络学习各帧权重，同时将源和目标视频对齐到域不变图特征空间。与存储大量子视频不同，我们的方法仅为一个视频构建带图注意力机制的单个图，大幅降低内存成本。大量实验表明，与SOTA方法相比，我们在显著降低内存成本的同时取得了更优性能。
引用
@article{arxiv.2208.06554,
title = {Memory Efficient Temporal & Visual Graph Model for Unsupervised Video Domain Adaptation},
author = {Xinyue Hu and Lin Gu and Liangchen Liu and Ruijiang Li and Chang Su and Tatsuya Harada and Yingying Zhu},
journal= {arXiv preprint arXiv:2208.06554},
year = {2022}
}