野外舞蹈：基于单目神经动态外观合成的人体动画
计算机视觉与模式识别
2021-11-12 v1
摘要
合成运动中人体的动态外观在 AR/VR 和视频编辑等应用中起着核心作用。尽管近期已提出许多方法来解决该问题，处理具有复杂纹理和高速动态运动的宽松服装仍然具有挑战性。在本文中，我们提出一种基于视频的外观合成方法，应对此类挑战，并对先前未展示过的野外视频展现出高质量结果。具体而言，我们将基于 StyleGAN 的架构应用于特定人物基于视频的运动重定向任务。我们引入一种新颖的运动签名，用于调制生成器权重以捕捉动态外观变化，并正则化基于单帧的姿态估计以改善时间连贯性。我们在一组具有挑战性的视频上评估了我们的方法，并表明我们的方法在定性与定量上均达到了最先进的性能。
引用
@article{arxiv.2111.05916,
title = {Dance In the Wild: Monocular Human Animation with Neural Dynamic Appearance Synthesis},
author = {Tuanfeng Y. Wang and Duygu Ceylan and Krishna Kumar Singh and Niloy J. Mitra},
journal= {arXiv preprint arXiv:2111.05916},
year = {2021}
}