PanoHead：360° 视角下几何感知的 3D 全头合成
计算机视觉与模式识别
2023-03-24 v1
摘要
3D 人头的合成与重建近期在计算机视觉与计算机图形学中受到日益增加的关注。现有最先进的用于 3D 人头合成的 3D 生成对抗网络 (GANs) 要么局限于近正面视图，要么难以在大视角下保持 3D 一致性。我们提出 PanoHead，首个 3D 感知生成模型，仅使用非受限的自然图像训练，即可在 下生成具有多样外观与精细几何、视角一致的高质量全头图像。其核心在于，我们提升了近期 3D GANs 的表征能力，并弥合了从视角广泛分布的自然图像训练时的数据对齐鸿沟。具体而言，我们提出一种新颖的两阶段自适应图像对齐以实现鲁棒 3D GAN 训练。我们进一步引入三栅格神经体表示，有效解决了广泛采用的三平面公式中所固有的正面与后脑特征纠缠。我们的方法将 2D 图像分割的先验知识注入 3D 神经场景结构的对抗学习中，从而实现多样背景下的可合成头部合成。得益于这些设计，我们的方法显著优于先前 3D GANs，生成具有准确几何与多样外观的高质量 3D 头部，即便是长卷发与爆炸发型，也可从任意姿态渲染。此外，我们展示了我们的系统能从单张输入图像重建全 3D 头部，用于个性化逼真 3D 虚拟形象。
引用
@article{arxiv.2303.13071,
title = {PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360$^{\circ}$},
author = {Sizhe An and Hongyi Xu and Yichun Shi and Guoxian Song and Umit Ogras and Linjie Luo},
journal= {arXiv preprint arXiv:2303.13071},
year = {2023}
}
备注
CVPR 2023. Project Page:https://sizhean.github.io/panohead