A11y-Compressor: 通过视觉上下文重建与冗余消除提升 GUI 普感代理观察效率的框架
计算与语言
2026-05-04 v1 人工智能
摘要
与图形用户界面 (GUI) 交互的 AI 代理需要有效的观察表示以实现可靠的 grounding。可访问树是一种常用的基于文本的格式，用于编码 UI 元素属性，但它存在冗余且缺乏诸如元素之间空间关系等的结构信息。在本工作中，我们提出了 A11y-Compressor 框架，将线性化的可访问树转化为紧凑且结构化的表示。我们的实现 Compressed-a11y 采用轻量且结构化的转换管道，包括模式检测、冗余消除和语义结构化。在 OSWorld 基准测试上的实验表明，Compressed-a11y 将输入 token 减少至原来的 22%，同时平均提升任务成功率 5.1 个百分点。
引用
@article{arxiv.2605.00551,
title = {A11y-Compressor: A Framework for Enhancing the Efficiency of GUI Agent Observations through Visual Context Reconstruction and Redundancy Reduction},
author = {Michito Takeshita and Takuro Kawada and Takumi Ohashi and Shunsuke Kitada and Hitoshi Iyatomi},
journal= {arXiv preprint arXiv:2605.00551},
year = {2026}
}
备注
18 pages, 5 figures, 5 tables. Accepted to ACL SRW 2026. Project page: https://iyatomilab.github.io/a11y-compressor/