GEM：用于 GUI 代理的高斯嵌入建模进行离分布检测
机器学习
2025-11-25 v4 计算与语言
摘要
图形用户界面（GUI）代理最近涌现为一种人机交互有趣的范式，能够自动执行用户指令以操作智能终端设备。然而，当遇到违反环境约束或超出当前代理能力的离分布（OOD）指令时，GUI 代理可能出现任务中断甚至安全威胁。因此，对 GUI 代理进行有效的 OOD 检测至关重要。传统 OOD 检测方法在该领域表现次优，由于嵌入空间复杂且 GUI 环境不断演化。本文我们观察到，GUI 代理的输入语义空间相对于质心距离存在聚类模式。基于此，我们提出了 GEM 方法，即在提取的 GUI 代理输入嵌入距离上拟合高斯混合模型，以反映其能力边界。我们在覆盖智能手机、计算机和网页浏览器的八个数据集上评估了该方法。实验结果表明，GEM 相对于最佳基线实现了平均 23.70% 的准确率提升，仅增加训练时间 4.9% 和测试时间 6.5%。我们还通过实验表明，GEM 可通过在遇到 OOD 样本时请求云模型帮助，将步骤成功率提高 9.40%。分析通过九种不同骨干网络的实验验证了该方法的泛化能力。代码已公开于 https://github.com/Wuzheng02/GEM-OODforGUIagents。
引用
@article{arxiv.2505.12842,
title = {GEM: Gaussian Embedding Modeling for Out-of-Distribution Detection in GUI Agents},
author = {Zheng Wu and Pengzhou Cheng and Zongru Wu and Lingzhong Dong and Zhuosheng Zhang},
journal= {arXiv preprint arXiv:2505.12842},
year = {2025}
}