论大语言模型/视觉语言模型控制机器人的脆弱性
机器人学
2025-03-10 v5 人工智能
摘要
在本工作中，我们强调了集成大语言模型（LLM）和视觉语言模型（VLM）的机器人系统因输入模态敏感性而存在的脆弱性。尽管 LLM/VLM 控制的机器人在各种任务中表现出令人印象深刻的性能，但其在轻微输入变化下的可靠性仍未得到充分探索却至关重要。这些模型对指令或感知输入的变化高度敏感，这可能触发对齐问题，导致执行失败并产生严重的现实后果。为了研究这一问题，我们分析了 LLM/VLM 控制机器人系统中由对齐问题引发的脆弱性，并提出了针对输入模态变化所致故障模式的数学表述。我们提出了经验扰动策略以暴露这些脆弱性，并通过在多个机器人操作任务上的实验验证了其有效性。结果表明，简单的输入扰动使两个代表性 LLM/VLM 控制机器人系统的任务执行成功率分别降低了 22.2% 和 14.6%。这些发现强调了输入模态鲁棒性的重要性，并激励进一步研究以确保先进 LLM/VLM 控制机器人系统的安全可靠部署。
引用
@article{arxiv.2402.10340,
title = {On the Vulnerability of LLM/VLM-Controlled Robotics},
author = {Xiyang Wu and Souradip Chakraborty and Ruiqi Xian and Jing Liang and Tianrui Guan and Fuxiao Liu and Brian M. Sadler and Dinesh Manocha and Amrit Singh Bedi},
journal= {arXiv preprint arXiv:2402.10340},
year = {2025}
}