基于 VAE 的任务无关分层人体运动先验
计算机视觉与模式识别
2021-06-09 v1 图形学
摘要
描述人体运动的深度生成模型可惠及广泛的基础计算机视觉与图形学任务，例如为基于视频的人体姿态估计提供鲁棒性、在遮挡时为动作捕捉系统预测完整身体运动、以及以合理运动辅助关键帧动画。本文提出一种独立于特定任务学习复杂人体运动的方法，采用全局与局部潜空间相结合以促进粗粒度与细粒度建模。具体而言，我们提出一个分层运动变分自编码器（HM-VAE），其由两级分层潜空间组成。全局潜空间捕捉整体身体全局运动，而局部潜空间能够捕捉不同身体部位的精细化姿态。我们在包括基于视频的人体姿态估计、基于部分观测的运动补全以及从稀疏关键帧运动合成等多种任务中展示了分层运动变分自编码器的有效性。尽管我们的模型并未针对其中任一任务专门训练，其性能优于任务特定的替代方法。我们的通用人体运动先验模型可修复损坏的人体动画并从不完整观测生成完整运动。
引用
@article{arxiv.2106.04004,
title = {Task-Generic Hierarchical Human Motion Prior using VAEs},
author = {Jiaman Li and Ruben Villegas and Duygu Ceylan and Jimei Yang and Zhengfei Kuang and Hao Li and Yajie Zhao},
journal= {arXiv preprint arXiv:2106.04004},
year = {2021}
}