SideGAN：用于改进侧视图像合成的 3D 感知生成模型
计算机视觉与模式识别
2023-09-20 v1 图形学
摘要
尽管近期 3D 感知生成模型已展现出具有多视图一致性的照片级真实感图像合成能力，但合成图像质量会随相机位姿下降（例如侧视角度下人脸边界模糊且含噪）。这种退化主要源于从位姿严重不平衡的数据集中同时学习位姿一致性与照片真实感十分困难。本文提出 SideGAN，一种新颖的 3D GAN 训练方法，用以生成与相机位姿无关的照片级真实感图像，尤其针对侧视角度的人脸。为缓解学习照片真实感与位姿一致图像合成这一难题，我们将其拆分为两个更易解决的子问题。具体而言，我们将该问题表述为两个简单判别问题的组合：其一学习判别合成图像是否看起来真实，另一学习判别合成图像是否与相机位姿相符。基于此，我们提出带两个判别分支的双分支判别器。我们还提出位姿匹配损失以学习 3D GAN 的位姿一致性。此外，我们给出一种位姿采样策略，以在位姿不平衡数据集中增加陡角的学习机会。通过大量验证，我们证明所提方法使 3D GAN 能够生成高质量几何与照片级真实感图像，且与相机位姿无关。
引用
@article{arxiv.2309.10388,
title = {SideGAN: 3D-Aware Generative Model for Improved Side-View Image Synthesis},
author = {Kyungmin Jo and Wonjoon Jin and Jaegul Choo and Hyunjoon Lee and Sunghyun Cho},
journal= {arXiv preprint arXiv:2309.10388},
year = {2023}
}
备注
International Conference on Computer Vision (ICCV) 2023