基于 NeRF 的 3D 感知多类图像到图像翻译
计算机视觉与模式识别
2023-03-28 v1
摘要
3D 感知生成模型（3D-aware GANs）与神经辐射场（NeRF）结合的最新进展已取得了令人瞩目的成果。然而，此前没有工作研究 3D 感知 GANs 用于 3D 一致的多类图像到图像（3D-aware I2I）翻译。直接使用 2D-I2I 翻译方法会导致不真实的形状/身份变化。为了实现 3D 感知多类 I2I 翻译，我们将此学习过程解耦为多类 3D 感知 GAN 步骤和 3D 感知 I2I 翻译步骤。在第一步中，我们提出了两项新技术：一种新的条件架构和一种有效的训练策略。在第二步中，基于训练良好的保持视角一致性的多类 3D 感知 GAN 架构，我们构建了一个 3D 感知 I2I 翻译系统。为了进一步缓解视角一致性问题，我们提出了几项新技术，包括类 U-net 适配器网络设计、分层表示约束和相对正则化损失。在两个数据集上的大量实验中，定量和定性结果证明我们成功实现了具有多视角一致性的 3D 感知 I2I 翻译。
引用
@article{arxiv.2303.15012,
title = {3D-Aware Multi-Class Image-to-Image Translation with NeRFs},
author = {Senmao Li and Joost van de Weijer and Yaxing Wang and Fahad Shahbaz Khan and Meiqin Liu and Jian Yang},
journal= {arXiv preprint arXiv:2303.15012},
year = {2023}
}
备注
Accepted by CVPR2023