基础模型在自动驾驶领域的调查综述
机器学习
2024-09-06 v4 计算机视觉与模式识别
机器人学
摘要
基础模型的出现 revolutionized了自然语言处理和计算机视觉领域，为其在自动驾驶（AD）中的应用铺平了道路。本综述综述了超过40篇研究论文，展示了基础模型在提升AD中的作用。大型语言模型通过在推理、代码生成和翻译方面的专业能力，为AD中的规划和仿真做出了贡献。与此同时，视觉基础模型正日益被适用于关键任务，如3D目标检测和跟踪，以及为仿真和测试创建真实驾驶情景。多模态基础模型整合多种输入，在端到端AD中展现出卓越的视觉理解和空间推理能力，这些都是实现自动驾驶所必需的。本综述不仅提供了结构化的分类框架，依据AD领域内的模态和功能将基础模型归类，还深入探讨了当前研究中采用的方法。它识别了现有基础模型与最新AD方法之间的差距，从而描绘了未来研究方向，并提出了弥合这些差距的路线图。
引用
@article{arxiv.2402.01105,
title = {A Survey for Foundation Models in Autonomous Driving},
author = {Haoxiang Gao and Zhongruo Wang and Yaqian Li and Kaiwen Long and Ming Yang and Yiqing Shen},
journal= {arXiv preprint arXiv:2402.01105},
year = {2024}
}