论 3D 姿态与跟踪对人类动作识别的益处
计算机视觉与模式识别
2023-08-08 v2
摘要
本工作中，我们研究使用跟踪与 3D 姿态进行动作识别的益处。为此，我们采用拉格朗日视角来分析沿人体运动轨迹而非空间固定点的动作。采取这一立场使我们能够利用人的轨迹片段（tracklet）来预测其动作。本着这一精神，我们首先展示使用 3D 姿态推断动作的益处，并研究人-人交互。随后，我们通过融合轨迹片段上的 3D 姿态与上下文外观，提出一种拉格朗日动作识别（Lagrangian Action Recognition）模型。就此，我们的方法在 AVA v2.2 数据集上于仅姿态设置与标准基准设置均达到最先进性能。当仅使用姿态线索推理动作时，我们的姿态模型相较相应最先进方法获得 +10.0 mAP 提升，而我们的融合模型相较最佳最先进模型有 +2.8 mAP 提升。代码与结果可见于：https://brjathu.github.io/LART
引用
@article{arxiv.2304.01199,
title = {On the Benefits of 3D Pose and Tracking for Human Action Recognition},
author = {Jathushan Rajasegaran and Georgios Pavlakos and Angjoo Kanazawa and Christoph Feichtenhofer and Jitendra Malik},
journal= {arXiv preprint arXiv:2304.01199},
year = {2023}
}
备注
CVPR2023 (project page: https://brjathu.github.io/LART)