RAP：3D 光栅化增强的端到端规划
计算机视觉与模式识别
2026-02-10 v2 机器人学
摘要
端到端驾驶的仿照学习仅基于专家演示进行训练。一旦部署在封闭回路中，这类策略缺乏恢复数据：小失误无法纠正，迅速积累为失败。一个有前景的方向是生成 logged 路径之外的备用视角和轨迹。先前的工作探索了通过神经渲染或游戏引擎实现的逼真数字孪生体，但这些方法在速度和成本上受限，主要用于评估。在本工作中，我们认为逼真的光影并非必需用于训练端到端规划器。关键在于语义保真度和可扩展性：驾驶取决于几何和动力学，而非纹理或照明。受此启发，我们提出 3D 光栅化，用对注释原语的轻量级光栅化取代高成本渲染，实现诸如反事实恢复机动和跨代理视角合成等数据增强。为将这些合成视图有效地迁移到实际部署，我们引入了 Raster-to-Real 特征空间对齐，以弥合 sim-to-real 差距。正是这些组件共同构成了 Rasterization Augmented Planning (RAP)，这是一条可扩展的规划数据增强管道。RAP 在封闭回路鲁活加性和长尾泛化方面实现了最先进的性能，在四大基准测试中均名列前茅：NAVSIM v1/v2、Waymo Open Dataset 基于视觉的 E2E 驾驶以及 Bench2Drive。我们的结果表明，轻量级光栅化配合特征对齐足以扩展 E2E 训练，为逃避逼真渲染提供了一种实用方案。项目页面：https://alan-lanfeng.github.io/RAP/。
引用
@article{arxiv.2510.04333,
title = {RAP: 3D Rasterization Augmented End-to-End Planning},
author = {Lan Feng and Yang Gao and Eloi Zablocki and Quanyi Li and Wuyang Li and Sichao Liu and Matthieu Cord and Alexandre Alahi},
journal= {arXiv preprint arXiv:2510.04333},
year = {2026}
}