面向 360° 图像的 NeRF 非均匀采样策略
计算机视觉与模式识别
2022-12-08 v1 图形学
摘要
近年来，随着神经辐射场(NeRF)的出现，使用透视图像的新视角合成性能得到了显著提升。本研究提出了两种有效构建 360° 全向图像 NeRF 的新技术。由于 ERP 格式的 360° 图像具有高纬度区域空间畸变以及 360° 宽视角的特性，NeRF 的一般射线采样策略效率低下。因此，NeRF 的视角合成精度受限且学习不够高效。我们提出了两种适用于 360° 图像的非均匀射线采样方案——畸变感知射线采样与内容感知射线采样。我们使用 Replica 与 SceneCity 模型分别构建了室内与室外场景的评测数据集 Synth360。实验中，我们表明我们的方案在精度与效率两方面均成功构建了 360° 图像 NeRF。该方案广泛适用于 NeRF 的先进变体。结合所提技术的 DietNeRF、AugNeRF 与 NeRF++ 进一步提升了性能。此外，我们展示了所提方法提升了真实世界 360° 图像场景的质量。Synth360: https://drive.google.com/drive/folders/1suL9B7DO2no21ggiIHkH3JF3OecasQLb。
引用
@article{arxiv.2212.03635,
title = {Non-uniform Sampling Strategies for NeRF on 360{\textdegree} images},
author = {Takashi Otonari and Satoshi Ikehata and Kiyoharu Aizawa},
journal= {arXiv preprint arXiv:2212.03635},
year = {2022}
}
备注
Accepted at the 33rd British Machine Vision Conference (BMVC) 2022