PM-GANs：利用部分模态进行动作识别的判别性表示学习
计算机视觉与模式识别
2018-04-18 v1
摘要
不同模态的数据通常传达互补但异构的信息，通过结合多种数据模态（如RGB和红外特征）往往能获得更具判别性的表示。然而在现实中，由于诸多限制，同时获取两种数据通道具有挑战性。例如，RGB监控摄像头常因私人空间受限，这与个人安全异常活动检测的需求相矛盾。因此，利用部分数据通道构建多模态的完整表示显然是所需的。本文提出一种新颖的部分模态生成对抗网络（PM-GANs），仅使用部分模态的数据来学习完整模态表示。该完整表示通过生成表示替代缺失的数据通道来实现。我们进行了大量实验，与四种最先进（SOTA）方法比较，验证了所提方法在动作识别上的性能。同时，引入了一个新的红外-可见光动作识别数据集，这将是首个公开可用的包含配对红外与可见光光谱的动作数据集。
引用
@article{arxiv.1804.06248,
title = {PM-GANs: Discriminative Representation Learning for Action Recognition Using Partial-modalities},
author = {Lan Wang and Chenqiang Gao and Luyu Yang and Yue Zhao and Wangmeng Zuo and Deyu Meng},
journal= {arXiv preprint arXiv:1804.06248},
year = {2018}
}