从视频预测三维人体动态

给定一段人物动作视频，我们可轻易猜测该人物的三维未来运动。本工作中，我们提出可能是首个从过往视频输入预测人物未来三维网格模型序列的方法。我们对行走等周期性运动以及体育或锻炼视频中如保龄球和下蹲等动作进行预测。尽管计算机视觉中未来预测问题激增，多数方法从三维过去预测三维未来，或从二维过去预测二维未来。本工作中，我们聚焦于从过往图像序列预测三维未来运动的问题，这在必须基于视觉输入在人周围安全运行的自主系统中有大量实际应用。受自回归模型在语言建模任务中成功的启发，我们学习一个中间潜空间并在其上预测未来。当输入与输出域不同时，这有效促进了自回归预测。我们的方法可使用野外获取的无三维真值标签视频序列训练。带视频的项目网站见 https://jasonyzhang.com/phd。