LFP：基于相机与激光雷达融合的高效精准端到端车道级规划

多模态系统提升了自动驾驶的性能，但由于对每种模态内部的无差别处理而面临效率低下的问题。此外，每种模态独立的特征学习缺乏交互，导致提取的特征不具备互补特性。这些问题增加了跨模态融合冗余信息的成本。为了应对这些挑战，我们提出以驾驶相关元素为目标，在保留关键信息的同时减少激光雷达特征的数量。这种方法增强了图像与激光雷达分支之间的车道级交互，允许提取并融合它们各自的优势特征。在纯相机框架 PHP 的基础上，我们引入了车道级相机-激光雷达融合规划 (LFP) 方法，该方法通过以车道作为传感器融合的单元来平衡效率与性能。具体而言，我们设计了三个模块以提升效率和性能。在效率方面，我们提出了一个图像引导的粗略车道先验生成模块，用于预测车道的感兴趣区域 (ROI) 并分配置信度分数，以指导激光雷达处理。激光雷达特征提取模块利用来自图像分支的车道感知先验来指导柱体的采样，从而保留必要的柱体。在性能方面，车道级跨模态查询集成与特征增强模块利用 ROI 的置信度分数将低置信度的图像查询与激光雷达查询相结合，提取互补的深度特征。这些特征增强了低置信度的图像特征，弥补了深度信息的缺失。在 Carla 基准上的实验表明，我们的方法在驾驶分数和违规分数上均达到了 SOTA 性能，与现有算法相比最大提升分别为 15% 和 14%，同时保持了 19.27 FPS 的高帧率。