面向自动驾驶的生成式AI：前沿与机遇
计算机视觉与模式识别
2025-05-15 v1 人工智能
机器人学
摘要
生成式人工智能(GenAI)构成了一波变革性技术，凭借卓越的内容创建、推理、规划和多模态理解能力，重新构成了各行行业。这种革命性力量为实现可靠的完全自动驾驶——尤其是实现5级自动驾驶的追求——提供了最具前景的路径。本 survey 提供了对GenAI在自动驾驶技术栈中发挥作用的全面而批判性综述。我们首先梳理了现代生成模型的原理与权衡，包括VAE、GAN、扩散模型和大型语言模型(LLM)。随后，我们描绘了其在图像、LiDAR、轨迹、占据网格、视频生成以及LLM引导的推理与决策中的前沿应用。我们对实用应用进行了分类，如合成数据工作流程、端到端驾驶策略、高保真数字孪生系统、智能交通网络以及跨域迁移到具身AI。我们识别出诸多挑战与机遇，如跨稀有情形的全面泛化、评估与安全检查、预算受限的实施、合规监管、伦理问题以及环境影响，同时提出了在理论保证、可信度指标、交通融合和社会技术影响方面的研究计划。通过统一这些线程，本 survey 为研究人员、工程师和政策制定者提供了前瞻性参考，引导他们导航生成式AI与先进自动驾驶技术的融合。一个活跃维护的参考文献库已置于https://github.com/taco-group/GenAI4AD。
引用
@article{arxiv.2505.08854,
title = {Generative AI for Autonomous Driving: Frontiers and Opportunities},
author = {Yuping Wang and Shuo Xing and Cui Can and Renjie Li and Hongyuan Hua and Kexin Tian and Zhaobin Mo and Xiangbo Gao and Keshu Wu and Sulong Zhou and Hengxu You and Juntong Peng and Junge Zhang and Zehao Wang and Rui Song and Mingxuan Yan and Walter Zimmer and Xingcheng Zhou and Peiran Li and Zhaohan Lu and Chia-Ju Chen and Yue Huang and Ryan A. Rossi and Lichao Sun and Hongkai Yu and Zhiwen Fan and Frank Hao Yang and Yuhao Kang and Ross Greer and Chenxi Liu and Eun Hak Lee and Xuan Di and Xinyue Ye and Liu Ren and Alois Knoll and Xiaopeng Li and Shuiwang Ji and Masayoshi Tomizuka and Marco Pavone and Tianbao Yang and Jing Du and Ming-Hsuan Yang and Hua Wei and Ziran Wang and Yang Zhou and Jiachen Li and Zhengzhong Tu},
journal= {arXiv preprint arXiv:2505.08854},
year = {2025}
}