面向高保真、细节丰富的 3D 人像生成：跨视角先验感知扩散
计算机视觉与模式识别
2024-11-18 v1 人工智能
摘要
近期基于扩散的单图 3D 人像生成方法通常采用 2D 扩散模型提供多视角知识，随后将其蒸馏到 3D 表示中。然而，这些方法通常难以生成高保真 3D 模型，经常产生过度模糊的纹理。我们将此问题归因于扩散过程中对跨视角一致性考虑不足，导致不同视角间存在显著差异，最终导致 3D 表示模糊。本文通过在条件化和扩散过程两方面全面利用多视角先验来生成一致、细节丰富的人像，解决了这一问题。从条件化角度，我们提出了一种混合先验扩散模型，显式和隐式地将多视角先验作为条件融入，以增强生成多视角人像的状态一致性。从扩散角度，考虑到扩散噪声分布对细节纹理生成的显著影响，我们提出了一种融合在优化过程中的多视角噪声重采样策略，利用跨视角先验增强表示一致性。大量实验表明，我们的方法能从单张图像生成几何准确、细节丰富的 3D 人像。项目页面见 \url{https://haoran-wei.github.io/Portrait-Diffusion}。
引用
@article{arxiv.2411.10369,
title = {Towards High-Fidelity 3D Portrait Generation with Rich Details by Cross-View Prior-Aware Diffusion},
author = {Haoran Wei and Wencheng Han and Xingping Dong and Jianbing Shen},
journal= {arXiv preprint arXiv:2411.10369},
year = {2024}
}