AndroTMem：从交互轨迹到长期GUI智能体的锚定记忆
计算机视觉与模式识别
2026-03-20 v1
摘要
长期GUI智能体是实现真实世界部署的关键步骤，但在当前范例下有效的交互记忆仍未得到充分探索。完整重放交互序列是冗余的，并且放大了噪声，而摘要往往会消除依赖关键信息和可追溯性。我们提出AndroTMem，一个用于长期Android GUI智能体锚定记忆的诊断框架。其核心基准AndroTMem-Bench包含1,069个任务，共34,473个交互步骤（平均32.1个步骤/任务，最大65个）。我们评估了TCR（任务完成率）的代理，关注那些需要携带关键中间状态才能完成的任务；AndroTMem-Bench设计为强制步骤间因果依赖，使稀疏且关键的中间状态对下游动作至关重要，从而将交互记忆置于评估中心。在开放和封闭源GUI代理中，我们观察到一致模式：随着交互序列变得更长，性能下降主要由任务内记忆失败驱动，而非孤立的感知错误或局部动作错误。基于这一诊断，我们提出了锚定状态记忆(ASM)，该方法将交互序列表示为一组因果关联的中间状态锚点，以实现子目标目标检索和属性感知决策。在多种设置和12个评估GUI代理中，ASM consistently优于完整序列重放和摘要基线，TCR提高了5%-30.16%，AMS提高了4.93%-24.66%，表明锚定、结构化记忆有效缓解了长期GUI任务中的交互记忆瓶颈。该代码、基准和相关资源已公开。
引用
@article{arxiv.2603.18429,
title = {AndroTMem: From Interaction Trajectories to Anchored Memory in Long-Horizon GUI Agents},
author = {Yibo Shi and Jungang Li and Linghao Zhang and Zihao Dongfang and Biao Wu and Sicheng Tao and Yibo Yan and Chenxi Qin and Weiting Liu and Zhixin Lin and Hanqian Li and Yu Huang and Song Dai and Yonghua Hei and Yue Ding and Xiang Li and Shikang Wang and Chengdong Xu and Jingqi Liu and Xueying Ma and Zhiwen Zheng and Xiaofei Zhang and Bincheng Wang and Nichen Yang and Jie Wu and Lihua Tian and Chen Li and Xuming Hu},
journal= {arXiv preprint arXiv:2603.18429},
year = {2026}
}