Mirage-1：通过分层多模态技能增强和更新 GUI 智能体
人工智能
2025-06-13 v1
摘要
最近利用多模态大语言模型（MLLM）作为 GUI 智能体的努力已取得有前景的成果。然而，这些智能体在在线环境中仍然难以处理长时序任务，主要原因是知识不足以及离线与在线领域之间的固有差距。本文受人类在开放环境中泛化知识的启发，我们提出了分层多模态技能（HMS）模块，以解决知识不足的问题。它将轨迹逐步抽象为执行技能、核心技能，最终抽象为元技能，为长时序任务规划提供分层知识结构。为了弥合领域差距，我们提出了技能增强蒙特卡洛树搜索（SA-MCTS）算法，该算法高效利用离线环境中获得的技能来减少在线树探索中的动作搜索空间。基于 HMS，我们提出了 Mirage-1，一个多模态、跨平台、即插即用的 GUI 智能体。为了验证 Mirage-1 在真实世界长时序场景中的性能，我们构建了一个新的基准 AndroidLH。实验结果表明，Mirage-1 在 AndroidWorld、MobileMiniWob++、Mind2Web-Live 和 AndroidLH 上分别以 32\%、19\%、15\% 和 79\% 的优势超越了之前的智能体。项目页面: https://cybertronagent.github.io/Mirage-1.github.io/
引用
@article{arxiv.2506.10387,
title = {Mirage-1: Augmenting and Updating GUI Agent with Hierarchical Multimodal Skills},
author = {Yuquan Xie and Zaijing Li and Rui Shao and Gongwei Chen and Kaiwen Zhou and Yinchuan Li and Dongmei Jiang and Liqiang Nie},
journal= {arXiv preprint arXiv:2506.10387},
year = {2025}
}
备注
20 pages, 5 figures, 5 tables