SafePath：用于基于LLM的自主导航中安全性的保形预测
机器学习
2025-05-16 v2 机器人学
摘要
大型语言模型（LLM）通过对复杂交通场景进行推理以生成路径规划，在自动驾驶方面展现出越来越大的潜力。然而，它们过度自信和产生幻觉的倾向引发了严重的安全问题。我们引入了 SafePath，这是一个使用保形预测为基于 LLM 的路径规划提供形式化安全保证的模块化框架。SafePath 分三个阶段运行。在第一阶段，我们使用 LLM 生成一组多样化的候选路径，基于智能体行为和环境线索探索可能的轨迹。在第二阶段，SafePath 滤除高风险轨迹，同时通过整合保形预测的多项选择问答形式，保证以用户定义的概率至少包含一个安全选项。在最后阶段，当不确定性较低时，我们的方法选择预期碰撞风险最低的路径；当不确定性较高时，则将控制权移交给人类。我们从理论上证明，SafePath 能以用户定义的概率保证安全的轨迹，并展示了如何调整其人类接管率以平衡自主性与安全性。在 nuScenes 和 Highway-env 上的大量实验表明，SafePath 将规划不确定性降低了 77%，将碰撞率降低了高达 70%，证明了其在使 LLM 驱动的路径规划更安全方面的有效性。
引用
@article{arxiv.2505.09427,
title = {SafePath: Conformal Prediction for Safe LLM-Based Autonomous Navigation},
author = {Achref Doula and Max Mühlhäuser and Alejandro Sanchez Guinea},
journal= {arXiv preprint arXiv:2505.09427},
year = {2025}
}