Skeleton-Graph：基于深度时空图 CNN 从 2D 观测进行长期 3D 运动预测
计算机视觉与模式识别
2021-12-28 v2 机器人学
摘要
自动驾驶、增强现实与虚拟现实等若干应用需要精确的人体 3D 姿态预测。近期，该领域引入了一个从观测的 2D 姿态预测 3D 人体姿态的新问题。我们提出 Skeleton-Graph，一种深度时空图 CNN 模型，可从 2D 姿态单次前向预测未来的 3D 骨架姿态。与以往工作不同，Skeleton-Graph 聚焦于通过利用骨架关节的空间配置来建模关节间交互。这是通过将问题表述为图结构并学习合适的图邻接核来实现的。凭借该设计，Skeleton-Graph 在长期预测中不会出现如以往工作般的发散。我们还引入一种衡量长期预测发散程度的新指标。结果显示，在 GTA-IM 与 PROX 数据集上，相较以往工作 FDE 至少提升 27%、ADE 提升 4%；且在长期运动预测上，相较以往工作在 GTA-IM 与 PROX 数据集上分别减少 88% 与 93% 的发散。代码见 https://github.com/abduallahmohamed/Skeleton-Graph.git。
引用
@article{arxiv.2109.10257,
title = {Skeleton-Graph: Long-Term 3D Motion Prediction From 2D Observations Using Deep Spatio-Temporal Graph CNNs},
author = {Abduallah Mohamed and Huancheng Chen and Zhangyang Wang and Christian Claudel},
journal= {arXiv preprint arXiv:2109.10257},
year = {2021}
}
备注
To appear in the The ROAD Challenge: Event Detection for Situation Awareness in Autonomous Driving ICCV 2021 Workshop