基于三平面的高效多相机标记化用于端到端驾驶

自回归Transformer正越来越多地被部署为机器人和自动驾驶车辆（AV）的端到端策略架构，这得益于其可扩展性以及利用互联网规模预训练实现泛化的潜力。因此，高效地对传感器数据进行标记化，对于确保此类架构在嵌入式硬件上的实时可行性至关重要。为此，我们提出了一种基于三平面的高效多相机标记化策略，该策略利用三维神经重建和渲染领域的最新进展，生成与输入相机数量和分辨率无关的传感器标记，同时显式地考虑其围绕AV的几何结构。在大规模AV数据集和最先进的神经模拟器上的实验表明，我们的方法相比当前的基于图像块的标记化策略显著减少了标记数量——最多减少72%的标记——从而使策略推理速度提升最多50%，同时保持了相同的开环运动规划精度，并在闭环驾驶仿真中提升了非道路行驶率。