WebShop：面向可扩展真实世界网络交互的具身语言智能体

现有的将语言置于交互环境中进行 grounding 的基准要么缺乏真实世界的语言要素，要么由于数据或反馈信号的收集需要大量人工参与而难以扩展。为弥补这一差距，我们开发了 WebShop——一个包含 $1.18$ 百万真实世界商品和 $12,087$ 条众包文本指令的模拟电子商务网站环境。给定一条指定商品需求的文本指令，智能体需要浏览多种类型的网页并发出多样化动作以找到、定制并购买一件商品。WebShop 为语言 grounding 提供了若干挑战，包括理解组合指令、查询（重新）表述、理解网页中的噪声文本并采取行动，以及进行策略性探索。我们为该任务收集了超过 $1,600$ 条人类演示，并使用强化学习、模仿学习以及预训练的图像和语言模型训练并评估了多种智能体。我们的最佳模型实现了 $29\%$ 的任务成功率，优于基于规则的启发式方法（$9.6\%$），但远低于人类专家表现（$59\%$）。我们还分析了智能体和人类轨迹，并对各模型组件进行消融，以期为开发具有更强语言理解与决策能力的未来智能体提供见解。最后，我们表明在 WebShop 上训练的智能体在 amazon.com 和 ebay.com 上进行评估时展现出非平凡的仿真到真实迁移，表明 WebShop 在开发可在实际环境中运行的实用基于网络的智能体方面具有潜在价值。