骨架动作识别何去何从？
计算机视觉与模式识别
2021-04-08 v2 图形学
多媒体
摘要
本文研究了基于骨架的人体动作识别领域中当前与未来的前沿。为了在真实场景下研究骨架动作识别，我们引入了 Skeletics-152，一个源自大规模动作数据集 Kinetics-700、经过筛选并带有 3D 姿态标注的 RGB 视频子集。我们将研究扩展至包含脱离上下文的动作，引入了 Skeleton-Mimetics，一个基于近期提出的 Mimetics 数据集衍生的数据集。我们还引入了 Metaphorics，一个带有说明式标注的 YouTube 视频数据集，内容来自流行社交游戏 Dumb Charades 和诠释性舞蹈表演。我们在 NTU-120 数据集上对最先进（state-of-the-art）模型进行基准测试，并对结果提供多层次评估。在新建数据集上基准测试 NTU-120 顶尖模型的结果揭示了真实场景动作带来的挑战与领域鸿沟。总体而言，我们的工作刻画了现有方法与数据集的优势与局限。通过所引入的数据集，我们的工作开启了人体动作识别的新前沿。
引用
@article{arxiv.2007.02072,
title = {Quo Vadis, Skeleton Action Recognition ?},
author = {Pranay Gupta and Anirudh Thatipelli and Aditya Aggarwal and Shubh Maheshwari and Neel Trivedi and Sourav Das and Ravi Kiran Sarvadevabhatla},
journal= {arXiv preprint arXiv:2007.02072},
year = {2021}
}
备注
To appear in International Journal of Computer Vision (IJCV). Project page: https://skeleton.iiit.ac.in/