GUI智能体的曙光：基于Claude 3.5 Computer Use的初步案例研究

最近发布的模型Claude 3.5 Computer Use作为首个在公开测试版中提供计算机使用能力的前沿AI模型，以图形用户界面（GUI）智能体的形式脱颖而出。作为早期测试版，其在真实复杂环境中的能力尚未知。在本案例研究中，我们策划并整理了一组精心设计的任务，涵盖多个领域和软件。这些案例的观察展示了Claude 3.5 Computer Use在端到端语言到桌面动作方面的前所未有的能力。随研究我们提供了一个开箱即用的智能体框架，用于部署基于API的GUI自动化模型，实现简易实现。我们的案例研究旨在通过详细分析展示Claude 3.5 Computer Use的能力与局限性的基础，并凸显规划、动作与评判等必须为未来改进考虑的问题。我们希望这一初步探索能激发GUI智能体社区的未来研究。论文中的所有测试用例可通过项目尝试：https://github.com/showlab/computer_use_ootb。