WebVLN：网站上的视觉与语言导航
计算机视觉与模式识别
2023-12-27 v1
摘要
视觉与语言导航（VLN）任务旨在使AI代理能够准确理解并遵循自然语言指令，在真实环境中导航，最终到达特定目标位置。我们认识到一个很有前景的机会，可以将VLN扩展到一项在日常生活中的虚拟领域（即在互联网上导航网站）具有重要意义的类似导航任务。本文提出了一项新任务，称为网站上的视觉与语言导航（WebVLN），其中我们使用基于问题的指令来训练代理，模拟用户自然浏览网站的方式。与仅关注视觉和指令（语言）的现有VLN任务不同，WebVLN代理进一步考虑了底层特定于网站的内容，如HTML，这些内容在渲染的网页上不可见，但包含丰富的视觉和文本信息。为此，我们贡献了一个数据集WebVLN-v1，并引入了一种称为网站感知VLN网络（WebVLN-Net）的新方法，该方法建立在最先进的VLN技术基础上。实验结果表明，WebVLN-Net优于当前的VLN和与网页相关的导航方法。我们相信，新WebVLN任务及其数据集的引入将为VLN领域建立一个新的维度，并为更广泛的视觉与语言研究社区做出贡献。代码可在https://github.com/WebVLN/WebVLN获取。
引用
@article{arxiv.2312.15820,
title = {WebVLN: Vision-and-Language Navigation on Websites},
author = {Qi Chen and Dileepa Pitawela and Chongyang Zhao and Gengze Zhou and Hsiang-Ting Chen and Qi Wu},
journal= {arXiv preprint arXiv:2312.15820},
year = {2023}
}
备注
Accepted by AAAI2024