CharacterGen：基于多视角姿态规范化的单图像高效 3D 角色生成
计算机视觉与模式识别
2024-07-11 v3
摘要
在数字内容创作领域，从单张图像生成高质量 3D 角色具有挑战性，尤其是考虑到各种身体姿态的复杂性以及自遮挡和姿态模糊问题。本文提出了 CharacterGen，一个旨在高效生成 3D 角色的框架。CharacterGen 引入了一条精简的生成流水线以及一个图像条件的多视角扩散模型。该模型能有效将输入姿态校准为规范形式，同时保留输入图像的关键属性，从而解决多样化姿态带来的挑战。我们方法的另一个核心组件是基于 Transformer 的通用稀疏视角重建模型，它促进了从多视角图像创建详细的 3D 模型。此外，我们采用纹理反向投影策略来生成高质量纹理贴图。另外，我们整理了一个包含多种姿态和视角的动漫角色数据集，用于训练和评估我们的模型。通过定量和定性实验对我们的方法进行了全面评估，结果表明其在生成具有高质量形状和纹理的 3D 角色方面表现出色，这些角色已准备好用于绑定和动画等下游应用。
引用
@article{arxiv.2402.17214,
title = {CharacterGen: Efficient 3D Character Generation from Single Images with Multi-View Pose Canonicalization},
author = {Hao-Yang Peng and Jia-Peng Zhang and Meng-Hao Guo and Yan-Pei Cao and Shi-Min Hu},
journal= {arXiv preprint arXiv:2402.17214},
year = {2024}
}