基于时空补全的人体运动预测
计算机视觉与模式识别
2019-10-30 v2
摘要
我们提出一种生成对抗网络（GAN），用于在给定过去 3D 骨架姿态序列的情况下预测 3D 人体运动。尽管近期 GAN 已取得令人鼓舞的结果，但它们只能在相对较短的时间（几百毫秒）内预测合理运动，且通常忽略骨架相对于相机的绝对位置。我们的方案可对身体姿态及其绝对位置提供长期预测（两秒或更长）。我们的方法基于三项主要贡献。首先，我们使用 3D 骨架坐标的时空张量表示数据，从而将预测问题表述为补全问题，而 GAN 在此类问题上表现尤为出色。其次，我们设计了一种架构以学习身体姿态与全局运动的联合分布，能够补全含有缺失数据的大块输入 3D 张量。最后，我们认为绝大多数方法迄今所考虑的 L2 度量无法捕捉长期人体运动的真实分布。我们提出两种基于频率分布的替代度量，能够捕捉更真实的运动模式。大量实验表明，我们的方法显著改进了当前最优水平，同时也能处理过去观测受遮挡、噪声与缺帧污染的情况。
引用
@article{arxiv.1812.05478,
title = {Human Motion Prediction via Spatio-Temporal Inpainting},
author = {Alejandro Hernandez Ruiz and Juergen Gall and Francesc Moreno-Noguer},
journal= {arXiv preprint arXiv:1812.05478},
year = {2019}
}
备注
8 pages