Action2video：生成人类三维动作视频
计算机视觉与模式识别
2021-12-21 v2
摘要
我们旨在解决一个有趣且富有挑战的问题：从指定的动作类别生成具有多样且自然的人体运动的视频。关键问题在于合成多个在视觉外观上逼真的不同运动序列的能力。本文通过维持内部3D姿态与形状表示的两步过程action2motion与motion2video实现该目标。action2motion随机生成指定动作类别的合理3D姿态序列，由motion2video处理并渲染成2D视频。具体而言，引入李代数理论以遵循人体运动学物理规律表示自然人体运动；开发了时间变分自编码器(VAE)以鼓励输出运动的多样性。此外，给定一张着衣人物角色的额外输入图像，提出完整流程以提取其3D细节形状，并从不同视角在视频中渲染合理运动。这通过改进现有方法从单张2D图像提取3D人体形状与纹理、绑定、动画化并渲染形成人体运动2D视频来实现。这还需要为训练目的对3D人体运动数据集进行整理与重新标注。包括消融研究、定性与定量评估在内的充分实证实验表明了我们所提方法的适用性，并证明其在相关任务上的竞争力，其中我们方法的各组件优于当前最优方法。
引用
@article{arxiv.2111.06925,
title = {Action2video: Generating Videos of Human 3D Actions},
author = {Chuan Guo and Xinxin Zuo and Sen Wang and Xinshuang Liu and Shihao Zou and Minglun Gong and Li Cheng},
journal= {arXiv preprint arXiv:2111.06925},
year = {2021}
}
备注
Accepted by IJCV