PreSight：利用城市级 NeRF 先验增强自动驾驶车辆感知
计算机视觉与模式识别
2024-07-16 v3
摘要
自动驾驶车辆严重依赖感知系统来导航和解释其周围环境。尽管这些系统最近取得了重大进展，但在遮挡、极端光照或不熟悉的城市区域等条件下仍然存在挑战。与这些系统不同，人类不仅仅依赖即时观察来感知环境。在导航新城市时，人类会逐渐建立初步的心理地图，以在后续访问中补充实时感知。受这种人类方法的启发，我们引入了一个新颖的框架 PreSight，该框架利用过去的行驶轨迹构建静态先验记忆，以增强后续导航中的在线感知。我们的方法涉及利用之前行程的数据优化城市级神经辐射场，以生成神经先验。这些先验富含语义和几何细节，无需人工标注即可导出，并能无缝增强各种 SOTA 感知模型，以极少的额外计算成本提高其效能。在 nuScenes 数据集上的实验结果证明了该框架与各种在线感知模型的高度兼容性。具体而言，它在 HD-map 构建和占用预测任务中显示出显著改进，突显了其作为自动驾驶系统新感知框架的潜力。我们的代码将在 https://github.com/yuantianyuan01/PreShest 发布。
引用
@article{arxiv.2403.09079,
title = {PreSight: Enhancing Autonomous Vehicle Perception with City-Scale NeRF Priors},
author = {Tianyuan Yuan and Yucheng Mao and Jiawei Yang and Yicheng Liu and Yue Wang and Hang Zhao},
journal= {arXiv preprint arXiv:2403.09079},
year = {2024}
}