端到端目标驱动的网络导航

我们提出目标驱动的网络导航作为一个基准任务，用于评估智能体理解自然语言和在部分可观测环境中进行规划的能力。在这一具有挑战性的任务中，智能体遍历一个网站（表示为以网页为节点、超链接为有向边的图），以找到出现某查询的网页。智能体需要具备基于自然语言的复杂高层推理以及高效的序列决策能力才能成功。我们发布了一个名为 WebNav 的软件工具，可自动将网站转换为该目标驱动的网络导航任务，并作为示例构建了基于英文维基百科的 WikiNav 数据集。我们在 WikiNav 上广泛评估了基于神经网络的不同变体人工智能体，观察到所提出的目标驱动网络导航能良好反映模型的进展，使其成为评估未来进步的合适基准。此外，我们用来自 Jeopardy! 的问答对扩展了 WikiNav，并基于循环神经网络所提出的智能体与基于强倒排索引的搜索引擎进行了测试。在 WikiNav 上训练的人工智能体优于基于引擎的方法，展示了所提出的目标驱动导航作为衡量现实世界任务（如聚焦爬取和问答）进展的良好代理的能力。