PanoGRF：面向宽基线全景图的通用球面辐射场
计算机视觉与模式识别
2023-12-07 v2 图形学
摘要
实现使用户能以六自由度（6DoF）探索虚拟环境的沉浸式体验，对虚拟现实（VR）等各类应用至关重要。宽基线全景图在这些应用中常用于降低网络带宽与存储需求。然而，从这些全景图合成新视角仍是一大挑战。尽管现有神经辐射场方法可在窄基线与密集图像捕获下生成照片级真实感视图，但由于难以从稀疏 视图学习准确几何，它们在处理宽基线全景图时往往过拟合训练视图。为解决此问题，我们提出 PanoGRF，即面向宽基线全景图的通用球面辐射场，其构建融合 场景先验的球面辐射场。与在透视图像上训练的通用辐射场不同，PanoGRF 避免了全景图到透视转换的信息损失，并基于球面投影直接从各全景视图聚合 3D 采样点的几何与外观特征。此外，由于宽基线设置下全景图某些区域仅从一个视图可见而从其他视图不可见，PanoGRF 将 单目深度先验融入球面深度估计以改进几何特征。在多个全景数据集上的实验结果表明，PanoGRF 显著优于最先进的宽基线全景图（如 OmniSyn）与透视图像（如 IBRNet、NeuRay）的通用视图合成方法。
引用
@article{arxiv.2306.01531,
title = {PanoGRF: Generalizable Spherical Radiance Fields for Wide-baseline Panoramas},
author = {Zheng Chen and Yan-Pei Cao and Yuan-Chen Guo and Chen Wang and Ying Shan and Song-Hai Zhang},
journal= {arXiv preprint arXiv:2306.01531},
year = {2023}
}
备注
accepted to NeurIPS2023; Project Page: https://thucz.github.io/PanoGRF/