S-NeRF++：通过神经重建与生成实现自动驾驶仿真
计算机视觉与模式识别
2025-03-04 v5
摘要
自动驾驶仿真系统在增强自动驾驶数据和模拟复杂及罕见交通场景方面发挥着至关重要的作用，从而确保导航安全。然而，传统仿真系统通常严重依赖人工建模和 2D 图像编辑，难以扩展到大规模场景并生成逼真的仿真数据。在本研究中，我们提出了 S-NeRF++，这是一种基于神经重建的创新自动驾驶仿真系统。S-NeRF++ 在 nuScenes 和 Waymo 等广泛使用的自动驾驶数据集上训练，能够生成大量具有高质量渲染效果的逼真街道场景和前景物体，同时在操作和仿真方面提供相当大的灵活性。具体而言，S-NeRF++ 是一种增强的神经辐射场，用于合成大规模场景和移动车辆，具有改进的场景参数化和相机位姿学习功能。该系统有效利用噪声和稀疏的 LiDAR 数据来优化训练并解决深度异常值问题，确保高质量的重建和新视角渲染。它还通过重建和生成不同的前景车辆提供了多样化的前景资产库，以支持全面的场景创建。此外，我们开发了一种先进的前景 - 背景融合管道，巧妙地整合了光照和阴影效果，进一步增强了仿真的真实感。利用 S-NeRF++ 提供的高质量仿真数据，我们发现感知方法在几个自动驾驶下游任务中获得了性能提升，进一步证明了我们提出的仿真器的有效性。
引用
@article{arxiv.2402.02112,
title = {S-NeRF++: Autonomous Driving Simulation via Neural Reconstruction and Generation},
author = {Yurui Chen and Junge Zhang and Ziyang Xie and Wenye Li and Feihu Zhang and Jiachen Lu and Li Zhang},
journal= {arXiv preprint arXiv:2402.02112},
year = {2025}
}
备注
IEEE TPAMI 2025