3D-SSGAN：提升 2D 语义以实现 3D 感知的组合式人像合成
计算机视觉与模式识别
2024-01-09 v1 图形学
摘要
现有的 3D 感知人像合成方法能够生成令人惊叹的高质量图像，同时保持较强的 3D 一致性。然而，它们大多无法支持对合成图像进行细粒度的部件级控制。相反，一些基于 GAN 的 2D 人像合成方法能够实现面部区域的清晰解耦，但由于缺乏 3D 建模能力，它们无法保持视角一致性。为了解决这些问题，我们提出了 3D-SSGAN，一种用于 3D 感知组合式人像图像合成的新颖框架。首先，一个简单而有效的深度引导 2D 到 3D 提升模块将生成的 2D 部件特征和语义映射到 3D。然后，利用带有新颖 3D 感知语义掩码渲染器的体渲染器来生成组合面部特征及相应的掩码。整个框架通过判别真实与合成的 2D 图像及其语义掩码进行端到端训练。定量和定性评估证明了 3D-SSGAN 在保持 3D 视角一致性的同时，在可控制的部件级合成方面的优越性。
引用
@article{arxiv.2401.03764,
title = {3D-SSGAN: Lifting 2D Semantics for 3D-Aware Compositional Portrait Synthesis},
author = {Ruiqi Liu and Peng Zheng and Ye Wang and Rui Ma},
journal= {arXiv preprint arXiv:2401.03764},
year = {2024}
}