SparseNeRF：为少样本新视角合成提炼深度排序
计算机视觉与模式识别
2023-08-15 v2
摘要
神经辐射场（NeRF）在仅有少量视角可用时性能显著下降。为弥补 3D 信息的缺失，基于深度的模型（如 DSNeRF 和 MonoSDF）显式假设可获得多视角的精确深度图。它们将精确深度图线性缩放作为监督来引导少样本 NeRF 的预测深度。然而，由于真实场景中深度距离范围大，精确深度图难以且昂贵地获取。本工作中，我们提出一种新的稀疏视角 NeRF（SparseNeRF）框架，利用来自真实世界不精确观测的深度先验。这些不精确深度观测来自预训练深度模型或消费级深度传感器的粗深度图。由于粗深度图未严格缩放到真实深度图，我们提出一种简单而有效的约束——局部深度排序方法——作用于 NeRF，使 NeRF 的期望深度排序在局部块中与粗深度图一致。为保持 NeRF 估计深度的空间连续性，我们进一步提出空间连续性约束，以鼓励 NeRF 期望深度连续性与粗深度图一致。令人惊讶的是，凭借简单的深度排序约束，SparseNeRF 在标准 LLFF 和 DTU 数据集上优于所有最先进的少样本 NeRF 方法（包括基于深度的模型）。此外，我们收集了一个新数据集 NVS-RGBD，包含来自 Azure Kinect、ZED 2 和 iPhone 13 Pro 的真实世界深度图。在 NVS-RGBD 数据集上的大量实验也验证了 SparseNeRF 的优越性和泛化性。代码与数据集见 https://sparsenerf.github.io/。
引用
@article{arxiv.2303.16196,
title = {SparseNeRF: Distilling Depth Ranking for Few-shot Novel View Synthesis},
author = {Guangcong Wang and Zhaoxi Chen and Chen Change Loy and Ziwei Liu},
journal= {arXiv preprint arXiv:2303.16196},
year = {2023}
}
备注
Accepted by ICCV 2023, Project page: https://sparsenerf.github.io/