ContraNeRF：基于对比学习与无监督隐式姿态嵌入的 3D 感知生成模型
计算机视觉与模式识别
2023-07-04 v2
摘要
尽管基于神经辐射场的 3D 感知 GAN 取得了有竞争力的性能，但其适用性仍局限于具有明确定义的标准相机姿态真值或预测模型的物体或场景。为了扩大适用数据集的范围，我们提出了一种通过对比学习与隐式姿态嵌入进行 3D 感知 GAN 优化的新技术。为此，我们首先修改了判别器设计并消除了对真实相机姿态的依赖。然后，为了更有效地捕捉复杂且具有挑战性的 3D 场景结构，我们使判别器从给定图像中估计高维隐式姿态嵌入，并在该姿态嵌入上进行对比学习。所提方法可应用于标准相机姿态定义不明确的数据集，因为它不需要查找或估计相机姿态。实验结果表明，我们的算法在具有多个物体类别和不一致标准相机姿态的数据集上大幅优于现有方法。
引用
@article{arxiv.2304.14005,
title = {ContraNeRF: 3D-Aware Generative Model via Contrastive Learning with Unsupervised Implicit Pose Embedding},
author = {Mijeong Kim and Hyunjoon Lee and Bohyung Han},
journal= {arXiv preprint arXiv:2304.14005},
year = {2023}
}
备注
20 pages. For the project page, see https://cv.snu.ac.kr/research/ContraNeRF/