基础模型在推进自动驾驶发展中的前瞻性作用

随着人工智能的发展和深度学习的突破，大规模基础模型（FMs），如 GPT、Sora 等，在自然语言处理和计算机视觉等众多领域取得了显著成果。基础模型在自动驾驶中的应用前景广阔。例如，它们有助于增强场景理解和推理能力。通过在海量语言和视觉数据上进行预训练，基础模型能够理解和解释驾驶场景中的各种元素，并提供认知推理，为驾驶决策和规划提供语言和动作指令。此外，基础模型可以基于对驾驶场景的理解来增强数据，以提供那些在长尾分布中罕见、在常规驾驶和数据采集期间不太可能遇到的可行情景。这种增强随后可以提高自动驾驶系统的准确性和可靠性。基础模型应用潜力的另一个证明体现在世界模型上，以 DREAMER 系列为代表，它展示了理解物理定律和动力学的能力。在自监督学习范式下从海量数据中学习，世界模型可以生成未见但合理的驾驶环境，有助于增强对道路使用者行为的预测和驾驶策略的离线训练。在本文中，我们综合了基础模型在自动驾驶中的应用和未来趋势。通过利用基础模型的强大能力，我们致力于解决自动驾驶中由长尾分布引发的潜在问题，从而提升该领域的整体安全性。