合成具有 3D 控制能力的运动人物
计算机视觉与模式识别
2024-12-23 v2 人工智能
摘要
在本文中，我们提出了一种基于扩散模型的框架，用于根据给定的目标 3D 运动序列，从单张图像中让人物动起来。我们的方法有两个核心组件：a) 学习关于人体不可见部分和服装的先验知识，以及 b) 渲染具有适当服装和纹理的新颖身体姿态。对于第一部分，我们学习了一个填充扩散模型，以便根据单张图像幻化出人物的不可见部分。我们在纹理贴图空间训练该模型，由于其对姿态和视角不变，因此样本效率更高。其次，我们开发了一个基于扩散的渲染流水线，由 3D 人体姿态控制。这产生了人物新颖姿态的真实渲染，包括服装、头发以及对不可见区域的合理填充。这种解耦方法允许我们的方法生成既忠实于 3D 姿态中的目标运动，又在视觉相似性上忠实于输入图像的图像序列。此外，3D 控制允许各种合成相机轨迹来渲染人物。我们的实验表明，与先前方法相比，我们的方法在生成长时间运动和多种具有挑战性的复杂姿态方面具有鲁棒性。更多详情请访问我们的网站：https://boyiliee.github.io/3DHM.github.io/。
引用
@article{arxiv.2401.10889,
title = {Synthesizing Moving People with 3D Control},
author = {Boyi Li and Junming Chen and Jathushan Rajasegaran and Yossi Gandelsman and Alexei A. Efros and Jitendra Malik},
journal= {arXiv preprint arXiv:2401.10889},
year = {2024}
}