从单张图像生成物理可信的人体上半身动画
计算机视觉与模式识别
2022-12-12 v1 人工智能
图形学
机器人学
摘要
我们提出了一种生成可控、动态响应且照片级真实感人体动画的新方法。给定一张人物图像,我们的系统允许用户通过在图像空间中的交互(例如将手拖拽至不同位置)生成物理可信的上半身动画(PUBA)。我们将强化学习问题公式化以训练一个动态模型,该模型在给定 3D 动作(即关节力矩)的条件下预测人物的下一 2D 状态(即图像上的关键点),以及一个输出最优动作以控制人物实现期望目标的策略。该动态模型利用了 3D 仿真的表现力与 2D 视频的视觉真实感。PUBA 生成能够实现任务目标同时对强力扰动作出响应的 2D 关键点序列。这些关键点序列随后由姿态到图像生成器转换以产生最终的照片级真实感视频。
引用
@article{arxiv.2212.04741,
title = {Physically Plausible Animation of Human Upper Body from a Single Image},
author = {Ziyuan Huang and Zhengping Zhou and Yung-Yu Chuang and Jiajun Wu and C. Karen Liu},
journal= {arXiv preprint arXiv:2212.04741},
year = {2022}
}
备注
WACV 2023