DreamWaltz：以复杂 3D 可动画化虚拟形象构建场景
计算机视觉与模式识别
2023-11-07 v3 机器学习
摘要
我们提出 DreamWaltz，一种在文本引导与参数化人体先验下生成并动画化复杂 3D 虚拟形象的新框架。尽管近期方法在常见物体的文本到 3D 生成上取得了令人鼓舞的结果，创建高质量且可动画化的 3D 虚拟形象仍具挑战。为创建高质量 3D 虚拟形象，DreamWaltz 提出 3D 一致的遮挡感知得分蒸馏采样（SDS），以规范姿态优化隐式神经表示。它通过 3D 感知骨骼条件提供视图对齐监督，从而在无伪影与多面问题下实现复杂虚拟形象生成。对于动画，我们的方法从以各种姿态为条件的扩散模型丰富图像先验中学习可动画化 3D 虚拟形象表示，可在无需重训练情况下给定任意姿态动画化复杂非刚性虚拟形象。大量评估表明，DreamWaltz 是创建可呈现复杂形状、外观及用于动画新颖姿态的 3D 虚拟形象的有效且鲁棒的方法。所提框架进一步支持创建具多样组合的复杂场景，包括虚拟形象-虚拟形象、虚拟形象-物体及虚拟形象-场景交互。更多生动 3D 虚拟形象与动画结果见 https://dreamwaltz3d.github.io/。
引用
@article{arxiv.2305.12529,
title = {DreamWaltz: Make a Scene with Complex 3D Animatable Avatars},
author = {Yukun Huang and Jianan Wang and Ailing Zeng and He Cao and Xianbiao Qi and Yukai Shi and Zheng-Jun Zha and Lei Zhang},
journal= {arXiv preprint arXiv:2305.12529},
year = {2023}
}
备注
To appear in NeurIPS 2023; Project page: https://dreamwaltz3d.github.io/