NeRFmentation：基于 NeRF 的单目深度估计数据增强
计算机视觉与模式识别
2024-09-17 v2
摘要
单目深度估计（MDE）模型的能力受限于充足且多样化数据集的可用性。对于自动驾驶的 MDE 模型，采集数据轨迹的线性特征加剧了这一问题。我们提出了一种基于 NeRF 的数据增强流水线，将具有更多样化视角的合成数据引入训练数据集，并展示了我们的方法对模型性能和鲁棒性的益处。我们将该数据增强流水线称为 \textit{NeRFmentation}，它在数据集中的每个场景上训练 NeRF，根据相关指标过滤掉质量不佳的 NeRF，并使用它们生成从新视角采集的合成 RGB-D 图像。在本研究中，我们将我们的技术与三种最先进的 MDE 架构结合，应用于流行的自动驾驶数据集 KITTI 上，对其 Eigen split 的训练集进行增强。我们在原始测试集、另一个流行的驾驶数据集以及我们自己的合成测试集上评估了所获得的性能提升。
引用
@article{arxiv.2401.03771,
title = {NeRFmentation: NeRF-based Augmentation for Monocular Depth Estimation},
author = {Casimir Feldmann and Niall Siegenheim and Nikolas Hars and Lovro Rabuzin and Mert Ertugrul and Luca Wolfart and Marc Pollefeys and Zuria Bauer and Martin R. Oswald},
journal= {arXiv preprint arXiv:2401.03771},
year = {2024}
}