IDOL：从单张图像快速生成逼真的 3D 人类
计算机视觉与模式识别
2025-03-26 v2 图形学
机器学习
摘要
从单张图像创建高保真、可动画的 3D 全身化身是一个具有挑战性的任务，由于人类的多样化外观和姿态，以及高质量训练数据的稀缺。为实现快速高质量的人类重建，本 work 从数据集、模型和表示三个角度重新思考了该任务。首先，我们引入了一个大规模以人类为中心的生成数据集 HuGe100K，包含 100K 组多样化、逼真的人类图像。每组包含 24 张特定人类姿态的多视角图像，这些图像是使用姿态可控的图像到多视角模型生成的。下一步，利用 HuGe100K 中视角、姿态和外观的多样性，我们开发了一个可扩展的前馈变换模型，从给定的人类图像中预测 3D 人类高斯表示。该模型被训练来解耦人类姿态、身体形状、服装几何和纹理。估计的高斯值可以在无后处理的情况下进行动画。我们进行了全面的实验以验证所提出数据集和方法的有效性。我们的模型能够在单张输入图像上使用单个 GPU 即时地以 1K 分辨率高效地重建逼真的人类。此外，它无缝支持各种应用，以及形状和纹理编辑任务。项目页面：https://yiyuzhuang.github.io/IDOL/。
引用
@article{arxiv.2412.14963,
title = {IDOL: Instant Photorealistic 3D Human Creation from a Single Image},
author = {Yiyu Zhuang and Jiaxi Lv and Hao Wen and Qing Shuai and Ailing Zeng and Hao Zhu and Shifeng Chen and Yujiu Yang and Xun Cao and Wei Liu},
journal= {arXiv preprint arXiv:2412.14963},
year = {2025}
}
备注
22 pages, 16 figures, includes main content, supplementary materials, and references