WebVoyager：利用大型多模态模型构建端到端网络智能体

大型语言模型的快速发展开创了一个以在现实世界场景中开发自主应用为标志的新时代，这推动了创建先进网络智能体的创新。现有的网络智能体通常只处理一种输入模态，并且仅在简化的网络模拟器或静态网页快照中进行评估，极大地限制了它们在现实世界场景中的适用性。为了弥合这一差距，我们引入了WebVoyager，这是一个由大型多模态模型驱动的创新网络智能体，它可以通过与现实世界的网站交互来端到端地完成用户指令。此外，我们通过汇编来自15个流行网站的真实世界任务建立了一个新的基准，并引入了一种利用GPT-4V的多模态理解能力来评估开放式网络智能体的自动评估协议。我们表明，WebVoyager在我们的基准上达到了59.1%的任务成功率，显著超越了GPT-4（所有工具）和WebVoyager（纯文本）设置的性能，突显了WebVoyager的卓越能力。所提出的自动评估指标与人类判断的一致性达到85.3%，表明其在提供对网络智能体可靠且准确的评估方面是有效的。