用于基于骨架的人体运动预测的片段到运动渐进学习
计算机视觉与模式识别
2023-07-27 v1
摘要
现有实现人体运动预测的图卷积网络大多采用一步式方案,直接从历史输入输出预测,未能利用人体运动模式。我们观察到人体运动具有过渡模式,并可拆分为代表各过渡的片段;每个片段可由其起始与结束姿态(称为过渡姿态)重建。我们提出一种片段到运动的多阶段框架,将运动预测分解为更易完成的子任务。每个子任务整合三个模块:过渡姿态预测、片段重建与片段到运动预测。具体而言,我们先仅预测过渡姿态,再用其重建相应片段,获得对真实运动序列的近似,最后细化以产生最终预测输出。为实现该网络,我们提出一种新颖的统一图建模,与依赖分离时空建模的现有方法相比,其允许直接有效的特征传播。在 Human 3.6M、CMU Mocap 与 3DPW 数据集上的大量实验验证了我们的方法的有效性,其达到了 SOTA 性能。
引用
@article{arxiv.2307.14006,
title = {Learning Snippet-to-Motion Progression for Skeleton-based Human Motion Prediction},
author = {Xinshun Wang and Qiongjie Cui and Chen Chen and Shen Zhao and Mengyuan Liu},
journal= {arXiv preprint arXiv:2307.14006},
year = {2023}
}