OS-Copilot：迈向具备自我改进能力的通用计算机智能体
人工智能
2024-02-16 v2
摘要
与计算机进行自主交互一直是一个具有巨大潜力的长期挑战，而近期大语言模型（LLMs）的激增显著加速了构建数字智能体的进程。然而，这些智能体大多被设计用于与狭窄领域交互，例如特定软件或网站。这种狭窄的焦点限制了它们在通用计算机任务中的适用性。为此，我们引入了 OS-Copilot，一个用于构建通用智能体的框架，该智能体能够与操作系统（OS）中的全面元素进行交互，包括网页、代码终端、文件、多媒体以及各种第三方应用程序。我们使用 OS-Copilot 创建了 FRIDAY，这是一个用于自动化通用计算机任务的自我改进型具身智能体。在通用 AI 助手基准测试 GAIA 上，FRIDAY 的性能比先前方法高出 35%，展示了其通过积累先前任务的技能而对未见应用表现出的强大泛化能力。我们还提供了数值和定量证据，表明 FRIDAY 在极少监督下学会了控制 Excel 和 Powerpoint 并进行自我改进。我们的 OS-Copilot 框架和实证发现为未来研究更强大、更通用的计算机智能体提供了基础架构和洞见。
引用
@article{arxiv.2402.07456,
title = {OS-Copilot: Towards Generalist Computer Agents with Self-Improvement},
author = {Zhiyong Wu and Chengcheng Han and Zichen Ding and Zhenmin Weng and Zhoumianze Liu and Shunyu Yao and Tao Yu and Lingpeng Kong},
journal= {arXiv preprint arXiv:2402.07456},
year = {2024}
}
备注
Project page: https://os-copilot.github.io