从单张图像到可动画的高斯人形: 梦境、提升、动画

我们提出 Dream, Lift, Animate (DLA)，一种新框架，用于从单张图像重建可动画的 3D 人类模型。这一成果通过多视角生成、3D 高斯提升以及基于姿态的 UV 空间映射实现。给定图像后，我们首先利用视频扩散模型生成合理的多视角，捕获丰富的几何和细节信息。随后，这些视角被提升为非结构化的 3D 高斯。为实现动画，我们提出了基于转换器的编码器，建模全局空间关系，并将这些高斯映射到与参数化人体模型 UV 空间对齐的结构化潜在表示。该潜在代码被解码为 UV 空间的高斯，这些高斯可通过身体驱动变形进行动画处理，并根据姿态和视点进行渲染。通过将高斯锚定在 UV 流形上，我们的方法在动画期间确保一致性，同时保留细微的视觉细节。DLA 实现了实时渲染和直观编辑，无需后处理。我们的方法在 ActorsHQ 和 4D-Dress 数据集上超越了最先进的方法，在感知质量和光度准确性方面均表现出色。通过将视频扩散模型的生成优势与基于姿态的 UV 空间高斯映射相结合，DLA 弥合了非结构化 3D 表示与高保真、动画就绪模型之间的差距。