大语言模型赋能自动驾驶综述

人工智能（AI）在自动驾驶（AD）研究中发挥着至关重要的作用，推动其向智能化和高效化发展。目前，AD 技术的发展遵循两条主要技术路径：模块化和端到端。模块化将驾驶任务分解为感知、预测、规划和控制等模块，并分别进行训练。由于模块间训练目标的不一致性，集成效果会产生偏差。端到端试图通过使用单一模型直接将传感器数据映射到控制信号来解决这一问题。这条路径在全面特征学习上的能力有限，且难以应对不可预测的长尾事件和复杂的城市交通场景。面对这两条路径遇到的挑战，许多研究人员认为，具备强大推理能力和广泛知识理解的大语言模型（LLM）可能是解决方案，期望 LLM 能为 AD 系统提供更深层次的理解和决策能力。鉴于两条路径面临的挑战，许多研究人员相信 LLM 凭借其强大的推理能力和丰富的知识可以提供解决方案。为了探究 LLM 是否能增强 AD，本文对 LLM 在 AD 系统中的潜在应用进行了深入分析，包括探讨其在模块化和端到端方法中的优化策略，特别关注 LLM 如何解决当前方案中存在的问题与挑战。此外，我们讨论了一个重要问题：基于 LLM 的通用人工智能（AGI）能否成为实现高级 AD 的关键？我们进一步分析了 LLM 在推动 AD 技术发展过程中可能遇到的潜在局限性和挑战。