用于少样本视频域适应的片段增强与对齐
计算机视觉与模式识别
2023-03-21 v1
摘要
为了使视频模型能够在不同环境中跨视频任务无缝迁移和应用，引入了视频无监督域适应以提升视频模型的鲁棒性和可迁移性。然而，当前的 VUDA 方法依赖于大量高质量的无标签目标数据，这在现实场景中可能无法获取。因此，我们考虑一种更现实的少样本视频域适应场景，在该场景中仅使用少量目标视频样本对视频模型进行适应。尽管已有部分方法涉及图像中的少样本域适应和 FSVDA，但它们主要依赖空间增强进行目标域扩展，并在实例级别进行统计对齐。然而，视频在丰富的时序和语义信息方面包含更多知识，在 FSVDA 中扩展目标域和进行对齐时应充分考虑这些信息。我们提出了一种新颖的 SSA2lign 在片段级别解决 FSVDA 问题，其中通过简单的片段级增强扩展目标域，随后在语义和统计上对片段进行注意力对齐，其中片段的语义对齐通过多视角进行。实验结果表明，SSA2lign 在多个跨域动作识别基准上取得了最先进的性能。
引用
@article{arxiv.2303.10451,
title = {Augmenting and Aligning Snippets for Few-Shot Video Domain Adaptation},
author = {Yuecong Xu and Jianfei Yang and Yunjiao Zhou and Zhenghua Chen and Min Wu and Xiaoli Li},
journal= {arXiv preprint arXiv:2303.10451},
year = {2023}
}
备注
15 pages, 9 tables, 5 figures