警惕环境因素：多模态 LLM 代理易受环境干扰
计算与语言
2025-09-08 v3
摘要
本文研究了多模态大语言模型（MLLM）代理在图形用户界面（GUI）环境中的忠诚度，旨在回答多模态 GUI 代理是否会被环境背景干扰的问题。提出了一种通用场景，其中用户和代理均为良好行为，环境虽不恶意，却包含与任务无关的内容。评估了广泛的 MLLMs 作为 GUI 代理使用模拟数据集，遵循三种不同感知水平的工作模式。实验结果表明，即便是最强大的模型，无论是通用型代理还是专用 GUI 代理，都容易受到环境干扰。虽然最近的研究主要关注代理的有用性，但我们的发现首次表明这些代理容易受到环境干扰。此外，我们实现了对抗环境注入，分析了改善忠诚度的方法，呼吁集中关注这一重要话题。
引用
@article{arxiv.2408.02544,
title = {Caution for the Environment: Multimodal LLM Agents are Susceptible to Environmental Distractions},
author = {Xinbei Ma and Yiting Wang and Yao Yao and Tongxin Yuan and Aston Zhang and Zhuosheng Zhang and Hai Zhao},
journal= {arXiv preprint arXiv:2408.02544},
year = {2025}
}
备注
ACL 2025