RGB+D视频中动作识别的深度多模态特征分析
计算机视觉与模式识别
2016-12-28 v2
摘要
近期，基于RGB或深度序列的单模态动作识别已被广泛探索。人们普遍认为，这两种模态在动作识别任务上各有不同的优势与局限。因此，对RGB+D视频的分析有助于我们更好地研究这两类模态的互补特性并达到更高的性能水平。本文中，我们提出一种新的基于深度自编码器的共享-特定特征分解网络，将输入多模态信号分离为分层的组件。进一步，基于特征的结构，提出一种结构化稀疏学习机，利用混合范数在组件内施加正则化并在组件间进行组选择，以获得更好的分类性能。我们的实验结果表明，通过在五个具有挑战性的基准数据集上实现动作分类的最先进准确率，我们的跨模态特征分析框架是有效的。
引用
@article{arxiv.1603.07120,
title = {Deep Multimodal Feature Analysis for Action Recognition in RGB+D Videos},
author = {Amir Shahroudy and Tian-Tsong Ng and Yihong Gong and Gang Wang},
journal= {arXiv preprint arXiv:1603.07120},
year = {2016}
}