面向新视角合成与隐式场景重建的大规模室外多模态数据集与基准
计算机视觉与模式识别
2023-01-18 v1
摘要
Neural Radiance Fields (NeRF) 在单物体场景重建和新视角合成方面取得了令人瞩目的成果，这已在许多单模态、单物体聚焦的室内场景数据集（如 DTU、BMVS 和 NeRF Synthetic）上得到证明。然而，NeRF 在大规模室外场景重建上的研究仍然有限，因为由于高昂的数据采集和标定成本，目前缺乏用于大规模 NeRF 评估的统一室外场景数据集。在本文中，我们提出了一个大规模室外多模态数据集 OMMO 数据集，包含复杂的陆地物体和场景，并配有标定图像、点云和提示标注。同时，为几项基于 NeRF 的室外任务建立了新的基准，如新视角合成、表面重建和多模态 NeRF。为创建该数据集，我们采集并收集了大量真实的飞行视角视频，并从中选取了高质量、高分辨率的片段。然后，我们设计了一个质量审查模块，通过基于学习的自动评估加人工审查来精炼图像，移除低质量帧和无法标定的场景。最后，我们雇佣了多名志愿者为每个场景和关键帧添加文本描述，以满足未来潜在的多模态需求。与现有的 NeRF 数据集相比，我们的数据集包含丰富的真实世界城市和自然场景，具有多种尺度、相机轨迹和光照条件。实验表明，我们的数据集可以对不同任务上的大多数 state-of-the-art NeRF 方法进行基准测试。我们将很快发布该数据集和模型权重。
引用
@article{arxiv.2301.06782,
title = {A Large-Scale Outdoor Multi-modal Dataset and Benchmark for Novel View Synthesis and Implicit Scene Reconstruction},
author = {Chongshan Lu and Fukun Yin and Xin Chen and Tao Chen and Gang YU and Jiayuan Fan},
journal= {arXiv preprint arXiv:2301.06782},
year = {2023}
}