Cradle：赋能基础智能体实现通用计算机控制
人工智能
2024-07-03 v3
摘要
尽管在特定场景中取得了成功，但由于环境封装在手动设计的观测和动作空间上存在巨大差异，现有的基础智能体仍然难以在各种虚拟场景中进行泛化。为了解决这个问题，我们提出了通用计算机控制（GCC）设置，限制基础智能体通过最统一和标准化的接口与软件交互，即使用截图作为输入，键盘和鼠标动作作为输出。我们引入了Cradle，一个模块化且灵活的由大模型驱动的框架，作为对GCC的初步尝试。在六个关键模块的增强下，Cradle能够理解输入截图，并在高层规划后输出用于低层键盘和鼠标控制的可执行代码，从而使Cradle能够与任何软件交互并完成长时程复杂任务，而无需依赖任何内置API。实验结果表明，Cradle在四个此前未被探索的商业视频游戏、五个软件应用以及一个综合基准OSWorld中展现出了卓越的泛化能力和令人印象深刻的性能。Cradle是首个使基础智能体能够在复杂的AAA游戏《荒野大镖客：救赎2》（RDR2）中遵循主线剧情并完成长达40分钟真实任务的方法。Cradle还能在《城市：天际线》中创建一个拥有千人的城市，在《星露谷物语》中种植并收获防风草，并在《Dealer's Life 2》中以每周最高87%的总利润进行交易和议价。Cradle不仅能操作Chrome、Outlook和飞书等日常软件，还能使用美图和剪映编辑图像和视频。Cradle通过使任何软件（尤其是复杂游戏）能够轻松转化为评估智能体各种能力并促进进一步数据收集的基准，极大地扩展了基础智能体的适用范围，从而为通用智能体铺平了道路。
引用
@article{arxiv.2403.03186,
title = {Cradle: Empowering Foundation Agents Towards General Computer Control},
author = {Weihao Tan and Wentao Zhang and Xinrun Xu and Haochong Xia and Ziluo Ding and Boyu Li and Bohan Zhou and Junpeng Yue and Jiechuan Jiang and Yewen Li and Ruyi An and Molei Qin and Chuqiao Zong and Longtao Zheng and Yujie Wu and Xiaoqiang Chai and Yifei Bi and Tianbao Xie and Pengjie Gu and Xiyun Li and Ceyao Zhang and Long Tian and Chaojie Wang and Xinrun Wang and Börje F. Karlsson and Bo An and Shuicheng Yan and Zongqing Lu},
journal= {arXiv preprint arXiv:2403.03186},
year = {2024}
}