用于三维感知图像合成的多视图一致生成对抗网络
计算机视觉与模式识别
2022-04-14 v1
摘要
三维感知图像合成旨在通过学习的 3D 表示从多个视角生成物体图像。然而，一个关键挑战仍然存在：现有方法缺乏几何约束，因此通常无法生成多视图一致的图像。为应对这一挑战，我们提出多视图一致生成对抗网络（MVCGAN），用于具有几何约束的高质量三维感知图像合成。通过利用生成图像的底层 3D 几何信息，即深度和相机变换矩阵，我们显式地建立视图间的立体对应关系以执行多视图联合优化。特别地，我们强制视图对之间的光度一致性，并将立体混合机制集成到训练过程中，鼓励模型推理正确的 3D 形状。此外，我们设计了一种带特征级多视图联合优化的两阶段训练策略以提升图像质量。在三个数据集上的大量实验表明，MVCGAN 在三维感知图像合成上达到了最先进的性能。
引用
@article{arxiv.2204.06307,
title = {Multi-View Consistent Generative Adversarial Networks for 3D-aware Image Synthesis},
author = {Xuanmeng Zhang and Zhedong Zheng and Daiheng Gao and Bang Zhang and Pan Pan and Yi Yang},
journal= {arXiv preprint arXiv:2204.06307},
year = {2022}
}
备注
Accepted by CVPR 2022