NeRF 准备好用于自动驾驶了吗？迈向弥合真实到仿真的差距

Neural Radiance Fields (NeRFs) 已成为推进自动驾驶研究的有前景的工具，提供了可扩展的闭环仿真和数据增强能力。然而，为了信任在仿真中获得的结果，需要确保自动驾驶系统以相同的方式感知真实数据和渲染数据。尽管渲染方法的性能在不断提升，但许多场景本质上仍然难以忠实重建。为此，我们提出了一种解决真实到仿真数据差距的新视角。我们不仅局限于提高渲染保真度，还探索了简单而有效的方法，以增强感知模型对 NeRF 伪影的鲁棒性，同时不妥协在真实数据上的性能。此外，我们使用最先进的神经渲染技术，对自动驾驶环境下的真实到仿真数据差距进行了首次大规模调查。具体而言，我们在真实和仿真数据上评估了目标检测器和在线建图模型，并研究了不同微调策略的影响。我们的结果显示，模型对仿真数据的鲁棒性有显著提升，在某些情况下甚至提升了真实世界性能。最后，我们深入探讨了真实到仿真差距与图像重建指标之间的相关性，发现 FID 和 LPIPS 是强有力的指标。请访问 https://research.zenseact.com/publications/closing-real2sim-gap 查看我们的项目页面。