360FusionNeRF：具有联合引导的全景神经辐射场
计算机视觉与模式识别
2022-10-04 v2
摘要
我们提出了一种基于神经辐射场（NeRF）从单张 全景图像合成新视角的方法。类似设定下的先前研究依赖多层感知机的邻域插值能力来补全由遮挡引起的缺失区域，这导致其预测中出现伪影。我们提出 360FusionNeRF，一种半监督学习框架，其中我们引入几何监督和语义一致性来引导渐进式训练过程。首先，将输入图像重投影为 图像，并在其他相机位置提取辅助深度图。除 NeRF 颜色引导外，深度监督改善了合成视角的几何结构。此外，我们引入语义一致性损失以促使新视角实现逼真渲染。我们使用预训练的视觉编码器（如 CLIP，一种在从网络挖掘的数亿张多样化 2D 照片上以自然语言监督训练的 Vision Transformer）提取这些语义特征。实验表明，我们提出的方法能够合理补全未观测区域，同时保留场景特征。当跨多个场景训练时，360FusionNeRF 在迁移到合成 Structured3D 数据集（PSNR~5%、SSIM~3%、LPIPS~13%）、真实世界 Matterport3D 数据集（PSNR~3%、SSIM~3%、LPIPS~9%）和 Replica360 数据集（PSNR~8%、SSIM~2%、LPIPS~18%）时一致取得最先进性能。
引用
@article{arxiv.2209.14265,
title = {360FusionNeRF: Panoramic Neural Radiance Fields with Joint Guidance},
author = {Shreyas Kulkarni and Peng Yin and Sebastian Scherer},
journal= {arXiv preprint arXiv:2209.14265},
year = {2022}
}
备注
8 pages, Fig 3, Submitted to IEEE RAL. arXiv admin note: text overlap with arXiv:2106.10859, arXiv:2104.00677, arXiv:2203.09957, arXiv:2204.00928 by other authors