MLA-Trust：GUI 环境下多模态 LLM 智能体可信度基准测试
人工智能
2025-06-03 v1
摘要
基于多模态 LLM 的智能体（MLA）的出现，通过无缝整合视觉、语言、动作和动态环境，改变了交互范式，在从 Web 自动化到移动系统的 GUI 应用中实现了前所未有的自主能力。然而，MLA 带来了远超传统语言模型局限的关键可信度挑战，因为它们可以直接修改数字状态并触发不可逆的现实世界后果。现有基准测试未能充分应对 MLA 可操作输出、长程不确定性和多模态攻击向量所带来的独特挑战。在本文中，我们引入了 MLA-Trust，这是首个全面且统一的框架，它从四个原则性维度评估 MLA 的可信度：真实性、可控性、安全性和隐私性。我们利用网站和移动应用程序作为现实测试平台，设计了 34 项高风险交互任务，并精心整理了丰富的评估数据集。涉及 13 个最先进智能体的大规模实验揭示了多模态交互场景中独有的、此前未被探索的可信度漏洞。例如，与静态 MLLM 相比，专有和开源的 GUI 交互 MLA 带来了更严重的可信度风险，尤其是在高风险领域；从静态 MLLM 向交互式 MLA 的转变显著损害了可信度，使得在独立 MLLM 通常会阻止的多步交互中产生有害内容；多步执行虽然增强了 MLA 的适应性，但涉及连续交互中潜在的非线性风险累积，绕过了现有安全防护机制并导致不可预测的衍生风险。此外，我们提供了一个可扩展的工具箱，以促进在不同交互环境中对 MLA 可信度的持续评估。
引用
@article{arxiv.2506.01616,
title = {MLA-Trust: Benchmarking Trustworthiness of Multimodal LLM Agents in GUI Environments},
author = {Xiao Yang and Jiawei Chen and Jun Luo and Zhengwei Fang and Yinpeng Dong and Hang Su and Jun Zhu},
journal= {arXiv preprint arXiv:2506.01616},
year = {2025}
}