基于知识图谱和大语言模型的 RAG 方法用于自动驾驶中道路用户行为的可解释预测
机器学习
2024-05-02 v1 人工智能
计算与语言
信息检索
神经与进化计算
摘要
在过去的几年中，自动驾驶领域对预测道路用户行为的问题已受到科学界的广泛关注。大多数研究聚焦仅基于运动学信息进行行为预测，这种现实的简化，因为道路用户是人类，受周围环境影响显著。此外，许多研究依赖强大的深度学习技术，这些技术在预测任务中表现出高性能指标，但可能缺乏完全理解和利用道路场景中上下文语义信息的能力，更遗憾的是，无法提供可被人类理解的可解释预测。为此，本文提出了一个集成知识图谱（KG）推理能力与大语言模型（LLM）表达能力的可解释道路用户行为预测系统，采用检索增强生成（RAG）技术。为此，结合知识图谱嵌入（KGE）和贝叶斯推断，以实现全纵向推理系统，使预测能够依赖图中遗留信息以及来自车载传感器实时收集的当前证据。本文遵循所提出的方法实现了两个用例：1）预测行人跨越行为；2）预测车道变换机动。两种情况下取得的性能均超越了当前该领域的最新成果，以 anticipation 和 F1-score 为指标，显示了该领域未来研究的有前景的道路。
引用
@article{arxiv.2405.00449,
title = {RAG-based Explainable Prediction of Road Users Behaviors for Automated Driving using Knowledge Graphs and Large Language Models},
author = {Mohamed Manzour Hussien and Angie Nataly Melo and Augusto Luis Ballardini and Carlota Salinas Maldonado and Rubén Izquierdo and Miguel Ángel Sotelo},
journal= {arXiv preprint arXiv:2405.00449},
year = {2024}
}