迈向可泛化 NeRF 中的退化鲁棒重建
计算机视觉与模式识别
2024-11-19 v1
摘要
跨场景的通用神经辐射场（Generalizable Neural Radiance Field, GNeRF）已被证明是一种通过用源图像的深度图像特征表示场景来避免逐场景优化的有效方法。然而，尽管其在现实世界应用中具有潜力，但关于 GNeRF 对源图像中存在的不同类型退化的鲁棒性研究仍然有限。缺乏此类研究主要归因于缺少适合训练退化鲁棒的可泛化 NeRF 模型的大规模数据集。为了填补这一空白并促进对 3D 重建任务退化鲁棒性的研究，我们构建了 Objaverse Blur Dataset，包含来自超过 1000 个设置的 50,000 张图像，具有多个级别的模糊退化。此外，我们设计了一个简单且与模型无关的模块来增强 GNeRF 的退化鲁棒性。具体而言，通过轻量级深度估计器与去噪器提取 3D 感知特征，所提出的模块在不同类型的退化与退化级别下，于定量与视觉质量方面均改进了 GNeRF 中的多种流行方法。我们的数据集与代码将公开发布。
引用
@article{arxiv.2411.11691,
title = {Towards Degradation-Robust Reconstruction in Generalizable NeRF},
author = {Chan Ho Park and Ka Leong Cheng and Zhicheng Wang and Qifeng Chen},
journal= {arXiv preprint arXiv:2411.11691},
year = {2024}
}