RTMV：用于新视角合成的射线追踪多视角合成数据集
计算机视觉与模式识别
2022-10-26 v2
摘要
我们提出了一个用于新视角合成的大规模合成数据集，包含由近 2000 个复杂场景使用高质量射线追踪在高分辨率（1600 x 1600 像素）下渲染的约 30 万张图像。该数据集比现有的新视角合成合成数据集大数个数量级，从而为训练和评估提供了一个大型统一基准。利用 4 种不同来源的高质量 3D 网格，我们数据集中的场景在相机视角、光照、形状、材质和纹理方面展现出具有挑战性的变化。由于我们的数据集过大，现有方法无法处理，我们提出了稀疏体素光场（Sparse Voxel Light Field, SVLF），一种高效的基于体素的光场方法，用于新视角合成，其在合成数据上取得了与 NeRF 相当的性能，同时训练速度快一个数量级，渲染速度快两个数量级。SVLF 通过依赖稀疏体素八叉树、精细的体素采样（每条射线仅需少量查询）、精简的网络结构，以及训练时的真实深度图来实现这一速度。我们的数据集由 NViSII（一个基于 Python 的射线追踪渲染器）生成，该渲染器专为非专家用户设计，易于使用和共享，通过脚本实现灵活而强大，并能创建高质量、基于物理的渲染图像。使用我们数据集的一个子集进行的实验，使我们能够比较 NeRF 和 mip-NeRF 等用于单场景建模的标准方法，以及用于类别级建模的 pixelNeRF，指出该领域未来改进的必要性。
引用
@article{arxiv.2205.07058,
title = {RTMV: A Ray-Traced Multi-View Synthetic Dataset for Novel View Synthesis},
author = {Jonathan Tremblay and Moustafa Meshry and Alex Evans and Jan Kautz and Alexander Keller and Sameh Khamis and Thomas Müller and Charles Loop and Nathan Morrical and Koki Nagano and Towaki Takikawa and Stan Birchfield},
journal= {arXiv preprint arXiv:2205.07058},
year = {2022}
}
备注
ECCV 2022 Workshop on Learning to Generate 3D Shapes and Scenes. Project page at http://www.cs.umd.edu/~mmeshry/projects/rtmv