面向细粒度动作识别的多模态域适应
计算机视觉与模式识别
2020-03-20 v2
摘要
细粒度动作识别数据集表现出环境偏差，其中多个视频序列采集自数量有限的环境。在一个环境中训练模型并在另一环境中部署会因不可避免的域偏移而导致性能下降。无监督域适应 (UDA) 方法经常利用源域与目标域之间的对抗训练。然而，这些方法尚未探索每个域内视频的多模态特性。在本工作中，除了对抗对齐外，我们利用模态间的对应关系作为一种自监督对齐方法用于 UDA。我们在来自大规模数据集 EPIC-Kitchens 的三个厨房上测试了我们的方法，使用两种常用于动作识别的模态：RGB 和光流 (Optical Flow)。我们表明，仅多模态自监督就能将性能较仅源域训练平均提升 2.4%。随后我们将对抗训练与多模态自监督结合，表明我们的方法比其他 UDA 方法高出 3%。
引用
@article{arxiv.2001.09691,
title = {Multi-Modal Domain Adaptation for Fine-Grained Action Recognition},
author = {Jonathan Munro and Dima Damen},
journal= {arXiv preprint arXiv:2001.09691},
year = {2020}
}
备注
Accepted to CVPR 2020 for an oral presentation