DiffPortrait360：用于360度视图合成的连贯肖像扩散
计算机视觉与模式识别
2025-03-21 v1
摘要
从单视图图像生成高质量的人头360度视图，对于实现可访问的沉浸式远程呈现应用和可扩展的个性化内容创作至关重要。虽然最先进的全头生成方法仅限于建模真实的人头，但最新的用于风格全知头合成的基于扩散的方法只能生成正面视图，并且难以保持视图一致性，从而阻止了它们转换为可从任意角度渲染的真实3D模型。我们提出了一种新方法，能够生成完全一致的360度人头视图，适用于人类、风格化和类人形态，包括眼镜和帽子等配饰。我们的方法建立在DiffPortrait3D框架之上，结合了用于后脑细节生成的自定义ControlNet以及用于确保全局前后一致性的双外观模块。通过在连续视图序列上训练并整合后参考图像，我们的方法实现了稳健的局部连续视图合成。我们的模型可用于生成高质量的神经辐射场以实现实时自由视角渲染，在对象合成和极具挑战性的输入肖像的360度人头生成方面超越了最先进的方法。
引用
@article{arxiv.2503.15667,
title = {DiffPortrait360: Consistent Portrait Diffusion for 360 View Synthesis},
author = {Yuming Gu and Phong Tran and Yujian Zheng and Hongyi Xu and Heyuan Li and Adilbek Karmanov and Hao Li},
journal= {arXiv preprint arXiv:2503.15667},
year = {2025}
}
备注
Page:https://freedomgu.github.io/DiffPortrait360 Code:https://github.com/FreedomGu/DiffPortrait360/