SPARF：从少量输入图像中大规模学习三维稀疏辐射场
计算机视觉与模式识别
2024-02-26 v3 机器学习
摘要
神经辐射场（NeRFs）的最新进展将新视角合成问题视为利用稀疏体素进行高效快速渲染（plenoxels, InstantNGP）的稀疏辐射场（SRF）优化。为了利用机器学习并推动 SRFs 作为三维表示的普及，我们提出了 SPARF，一个基于 ShapeNet 的大规模合成数据集，用于新视角合成，包含由近 40,000 个形状以高分辨率（400 X 400 像素）渲染的约 1700 万张图像。该数据集的规模比现有的新视角合成合成数据集大几个数量级，并包含超过一百万个具有多种体素分辨率的三维优化辐射场。此外，我们提出了一种新的流水线（SuRFNet），它学习仅从少数视角生成稀疏体素辐射场。这是通过使用密集收集的 SPARF 数据集和三维稀疏卷积来实现的。SuRFNet 利用来自少数/单一图像的部分 SRFs 和专门的 SRF 损失，学习生成可从新视角渲染的高质量稀疏体素辐射场。与最近的基线方法相比，我们的方法在基于 ShapeNet 少视角的无约束新视角合成任务中取得了 SOTA 结果。SPARF 数据集及代码和模型已在项目网站 https://abdullahamdi.com/sparf/ 上公开。
引用
@article{arxiv.2212.09100,
title = {SPARF: Large-Scale Learning of 3D Sparse Radiance Fields from Few Input Images},
author = {Abdullah Hamdi and Bernard Ghanem and Matthias Nießner},
journal= {arXiv preprint arXiv:2212.09100},
year = {2024}
}
备注
published at ICCV 2023 workshop proceedings