大语言模型（LLM）在城市环境导航中的安全性如何？
机器人学
2025-05-26 v2 人工智能
摘要
在机器人和自动化领域，基于大语言模型（LLM）的导航系统最近展示了令人印象深刻的性能。然而，这些系统的安全性方面受到的关注相对较少。本文率先探索了基于 LLM 的导航模型在城市室外环境中的脆弱性，考虑到该技术在自动驾驶、物流和应急服务中的广泛应用，这是一个关键领域。具体来说，我们引入了一种新颖的导航提示攻击，通过扰动原始导航提示来操纵基于 LLM 的导航模型，导致错误动作。根据扰动方法，我们的攻击分为两种类型：导航提示插入（NPI）攻击和导航提示交换（NPS）攻击。我们在一个使用多种 LLM 进行推理的基于 LLM 的导航模型上进行了全面实验。我们在 Touchdown 和 Map2Seq 街景数据集上，在少样本学习和微调配置下获得的结果表明，在白盒和黑盒攻击下，七个指标均出现显著性能下降。此外，我们的攻击可以轻松扩展到其他基于 LLM 的导航模型，并取得类似的有效结果。这些发现强调了所提出攻击的通用性和可迁移性，凸显了增强基于 LLM 的导航系统安全性的必要性。作为初步对策，我们提出了导航提示工程（NPE）防御策略，该策略专注于导航相关关键词，以减少对抗攻击的影响。虽然初步结果表明该策略提高了导航安全性，但更广泛的研究社区仍需开发更强的防御方法，以有效应对这些系统面临的现实世界挑战。
引用
@article{arxiv.2402.09546,
title = {How Secure Are Large Language Models (LLMs) for Navigation in Urban Environments?},
author = {Congcong Wen and Jiazhao Liang and Shuaihang Yuan and Hao Huang and Geeta Chandra Raju Bethala and Yu-Shen Liu and Mengyu Wang and Anthony Tzes and Yi Fang},
journal= {arXiv preprint arXiv:2402.09546},
year = {2025}
}