面向时空动作定位的无监督域适应
计算机视觉与模式识别
2020-10-20 v1
摘要
时空动作定位是计算机视觉中的一个重要问题，涉及检测活动发生的时间和位置，因此需要同时建模空间和时间特征。该问题通常在监督学习的框架下表述，其中学习到的分类器基于训练数据和测试数据来自同一底层分布的假设。然而，当存在显著的域偏移时，这一假设不再成立，导致在测试数据上泛化性能变差。为此，我们关注于一个困难且新颖的任务：在无法获取测试样本任何标签的情况下，将训练模型推广到时空动作定位的测试样本，并提出一种端到端无监督域适应算法。我们将最先进的目标检测框架扩展用于动作的定位与分类。为最小化域偏移，我们设计并集成了图像级（时间与空间）和实例级（时间）的三个域适应模块。我们设计了一种新的实验设置，并在 UCF-Sports、UCF-101 和 JHMDB 基准数据集上评估了所提方法及不同适应模块。结果表明，当空间和时间特征分别适应或联合适应时，均可获得显著的性能提升，其中联合适应效果最佳。
引用
@article{arxiv.2010.09211,
title = {Unsupervised Domain Adaptation for Spatio-Temporal Action Localization},
author = {Nakul Agarwal and Yi-Ting Chen and Behzad Dariush and Ming-Hsuan Yang},
journal= {arXiv preprint arXiv:2010.09211},
year = {2020}
}
备注
Accepted in BMVC 2020