HalluClear：诊断、评估与缓解GUI代理中的幻觉
人工智能
2026-04-21 v1
摘要
尽管GUI代理领域的进步主要由大规模工业训练驱动，但未经建构的幻觉常在实际部署中引发连锁式失败。与通用VLM领域不同，GUI代理领域缺乏针对细粒度诊断、可靠评估和有针对性缓解的幻觉专注套件。为弥合这一差距，我们引入HalluClear，作为计算密集型扩展的补充，为GUI代理的幻觉缓解提供综合套件。HalluClear包括：（1）从经验性失败分析中派生的GUI特定幻觉分类；（2）增强VLM作为评判员可靠性的三阶段评估工作流程，通过专家注释基准和集合可信度估计；（3）基于闭环结构化推理的缓解方案，使通用型和GUI专用代理均可通过冷启动初始化进行轻量级持续后训练。代表性代理和公共基准上的实验表明，仅在本套件中使用9K个样本进行后训练即可显著减少幻觉，从而提高 grounding 和 action fidelity，为稳健的GUI自动化提供一种计算高效的路径。
引用
@article{arxiv.2604.17284,
title = {HalluClear: Diagnosing, Evaluating and Mitigating Hallucinations in GUI Agents},
author = {Chao Jin and Wenkui Yang and Hao Sun and Yuqi Liao and Qianyi Jiang and Kai Zhou and Jie Cao and Ran He and Huaibo Huang},
journal= {arXiv preprint arXiv:2604.17284},
year = {2026}
}
备注
47 pages, 44 figures