动作识别中用于域适应的相关性信息对齐

域适应（DA）方法解决域偏移问题，使网络可应用于不同场景。尽管近年来提出了多种图像DA方法，针对视频DA的研究仍有限。这部分源于视频中不同模态特征的适应复杂性，包括作为跨时空维度像素长程依赖提取的相关性特征。相关性特征与动作类别高度相关，并通过有监督动作识别任务证明了其在精确视频特征提取中的有效性。然而由于域偏移，同一动作的相关性特征会跨域不同。因此我们提出一种新颖的对抗相关性适应网络（ACAN），通过对齐像素相关性来对齐动作视频。ACAN旨在最小化相关性信息的分布，称为像素相关性差异（PCD）。此外，视频DA研究也受限于缺乏具有更大域偏移的跨域视频数据集。为此，我们引入了一个新的HMDB-ARID数据集，其由域间更大统计差异导致更大域偏移。该数据集旨在利用现有数据集进行暗光视频分类。实证结果表明，我们提出的ACAN在现有及新视频DA数据集上均达到了最先进性能。