神经辐射场鲁棒性的基准评测
计算机视觉与模式识别
2023-01-11 v1
摘要
神经辐射场（NeRF）凭借其以简洁形式建模三维物体几何的能力，在新视角合成中展现了卓越的质量。然而，当前基于 NeRF 的模型方法依赖于具有精确相机标定的干净图像，而在现实世界中这类数据往往受到损坏和畸变影响，难以获取。本工作中，我们首次全面分析了基于 NeRF 的新视角合成算法在不同类型损坏存在时的鲁棒性。我们发现，基于 NeRF 的模型在损坏存在时性能显著下降，并且比图像识别模型对一组不同的损坏更为敏感。此外，我们分析了可泛化方法中的特征编码器（其利用卷积神经网络或 transformers 提取的神经特征来合成图像）的鲁棒性，发现其仅对鲁棒性有边际贡献。最后，我们揭示出能够显著提升识别模型鲁棒性的标准数据增强技术，对基于 NeRF 的模型鲁棒性并无帮助。我们希望我们的发现能吸引更多研究者关注基于 NeRF 方法的鲁棒性研究，并助力其在现实世界中的性能提升。
引用
@article{arxiv.2301.04075,
title = {Benchmarking Robustness in Neural Radiance Fields},
author = {Chen Wang and Angtian Wang and Junbo Li and Alan Yuille and Cihang Xie},
journal= {arXiv preprint arXiv:2301.04075},
year = {2023}
}