OS 智能体：面向通用计算设备的 MLLM-based 智能体综述
人工智能
2025-08-07 v1 计算与语言
计算机视觉与模式识别
机器学习
摘要
创建能够与 Iron Man 中 J.A.R.V.I.S 般高效和灵活的 AI助手的梦想长期深深地吸引着想象力。随着 (多模态) 大语言模型 ((M)LLMs) 的发展，这一梦想正逐步接近现实，因为基于 (M)LLM 的智能体通过在操作系统 (OS) 提供的环境和界面（例如图形用户界面 (GUI)）中运行，来自动化执行计算设备（如计算机和移动电话）上的任务已取得显著进展。本文提出了这些高级智能体（称为 OS 智能体）的综合性综述。我们首先阐明了 OS 智能体的基本概念，探讨其关键组件，包括环境、观察空间和行动空间，并概述必不可少的能力，如理解、规划和 grounding。我们 then 检查了构建 OS 智能体的方法，专注于 domain-specific foundation models 和 agent frameworks。随后，详细审阅了评估协议和基准，突出了 OS 智能体在各种任务中的评估方式。最后，我们讨论了当前挑战，确定了未来研究的有前景的方向，包括安全与隐私、个性化与自我演化。本次综述旨在归纳 OS 智能体研究的现状，为学术探索和工业开发提供见解。我们维护一个开源的 GitHub 仓库，作为动态资源，促进该领域的进一步创新。我们呈现了一个 9 页的版本，已被 ACL 2025 接受，以为该领域提供一个简洁的概览。
引用
@article{arxiv.2508.04482,
title = {OS Agents: A Survey on MLLM-based Agents for General Computing Devices Use},
author = {Xueyu Hu and Tao Xiong and Biao Yi and Zishu Wei and Ruixuan Xiao and Yurun Chen and Jiasheng Ye and Meiling Tao and Xiangxin Zhou and Ziyu Zhao and Yuhuai Li and Shengze Xu and Shenzhi Wang and Xinchen Xu and Shuofei Qiao and Zhaokai Wang and Kun Kuang and Tieyong Zeng and Liang Wang and Jiwei Li and Yuchen Eleanor Jiang and Wangchunshu Zhou and Guoyin Wang and Keting Yin and Zhou Zhao and Hongxia Yang and Fan Wu and Shengyu Zhang and Fei Wu},
journal= {arXiv preprint arXiv:2508.04482},
year = {2025}
}
备注
ACL 2025 (Oral)