Disco4D：基于单张图像的解耦式 4D 人类生成与动画
计算机视觉与模式识别
2024-09-27 v1
摘要
我们提出了 \textbf{Disco4D}，一个用于从单张图像进行 4D 人类生成与动画的新型高斯溅射 (Gaussian Splatting) 框架。与现有方法不同，Disco4D 独特地将服装（使用高斯模型）与人体（使用 SMPL-X 模型）解耦合，从而显著提升生成细节和灵活性。其具体技术创新点如下。\textbf{1)} Disco4D 学习如何高效地在 SMPL-X 高斯上拟合服装高斯。\textbf{2)} 采用扩散模型来增强 3D 生成过程，例如对输入图像中不可见的遮挡部分建模。\textbf{3)} 为每个服装高斯学习一个身份编码，以便实现分离和提取服装资产。此外，Disco4D 自然支持具有丰富动力学的 4D 人类动画。广泛的实验结果表明，Disco4D 在 4D 人类生成和动画任务中具有优势。我们的可视化结果可在 \url{https://disco-4d.github.io/} 查看。
引用
@article{arxiv.2409.17280,
title = {Disco4D: Disentangled 4D Human Generation and Animation from a Single Image},
author = {Hui En Pang and Shuai Liu and Zhongang Cai and Lei Yang and Tianwei Zhang and Ziwei Liu},
journal= {arXiv preprint arXiv:2409.17280},
year = {2024}
}