利用基于实例的混合采样与辅助源域监督实现域自适应动作检测
计算机视觉与模式识别
2022-10-07 v2
摘要
我们提出一种新颖的域自适应动作检测方法及新自适应协议，其利用了图像级无监督域自适应 (UDA) 技术的最新进展并处理实例级视频数据的多变性。在 UDA（无监督域自适应）背景下，自训练结合跨域混合采样已在语义分割中展现出显著的性能提升。受此启发，我们提出一种用于视频中人体动作检测的方法，其利用混合采样与基于伪标签的自训练将知识从源域（标注数据集）迁移至目标域（未标注数据集）。现有 UDA 技术针对语义分割遵循 ClassMix 算法。然而，直接将 ClassMix 用于动作检测并不奏效，主要因为二者是完全不同的问题，即像素标签分类 vs. 实例标签检测。为此，我们提出一种新颖的动作实例混合采样技术，其基于动作实例而非动作类别跨域组合信息。此外，我们提出一种新 UDA 训练协议，通过利用辅助源域 (ASD) 的监督解决长尾样本分布与域偏移问题。针对 ASD，我们提出一个具密集帧级标注的新动作检测数据集。我们将所提框架命名为域自适应动作实例混合 (DA-AIM)。我们证明 DA-AIM 在具有挑战性的域自适应基准上持续优于先前工作。源代码见 https://github.com/wwwfan628/DA-AIM。
引用
@article{arxiv.2209.15439,
title = {Exploiting Instance-based Mixed Sampling via Auxiliary Source Domain Supervision for Domain-adaptive Action Detection},
author = {Yifan Lu and Gurkirt Singh and Suman Saha and Luc Van Gool},
journal= {arXiv preprint arXiv:2209.15439},
year = {2022}
}