NTU RGB+D 120：用于三维人体活动理解的大规模基准
计算机视觉与模式识别
2019-06-11 v2
摘要
基于深度的人员活动分析研究取得了卓越性能，并证明了三维表示在动作识别中的有效性。现有的基于深度和基于 RGB+D 的动作识别基准存在若干局限性，包括缺乏大规模训练样本、合理的不同类别数量、相机视角的多样性、变化的环境条件以及不同人员主体的多样性。在本工作中，我们引入了一个用于 RGB+D 人体动作识别的大规模数据集，该数据集采集自 106 个不同主体，包含超过 11.4 万个视频样本和 800 万帧。该数据集包含 120 个不同的动作类别，包括日常、交互和健康相关活动。我们在此数据集上评估了一系列现有三维活动分析方法的性能，并展示了应用深度学习方法进行基于三维的人体动作识别的优势。此外，我们在该数据集上研究了一种新颖的一次性三维活动识别问题，并针对此任务提出了一种简单而有效的动作部位语义相关性感知（APSR）框架，其对新动作类的识别产生了有前景的结果。我们相信该大规模数据集的引入将使社区能够应用、适配并开发各种数据饥渴的学习技术，用于基于深度和基于 RGB+D 的人体活动理解。[数据集地址：http://rose1.ntu.edu.sg/Datasets/actionRecognition.asp]
引用
@article{arxiv.1905.04757,
title = {NTU RGB+D 120: A Large-Scale Benchmark for 3D Human Activity Understanding},
author = {Jun Liu and Amir Shahroudy and Mauricio Perez and Gang Wang and Ling-Yu Duan and Alex C. Kot},
journal= {arXiv preprint arXiv:1905.04757},
year = {2019}
}
备注
IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)