“这里重要的是什么？”：利用大语言模型从网页界面检索信息的机遇与挑战
计算与语言
2023-12-12 v1 信息检索
摘要
在包含大量代码的语料库上训练的大语言模型（LLMs）展现出了理解 HTML 代码的卓越能力。由于网页界面主要由 HTML 构建，我们设计了一项深入研究，以探究如何利用大语言模型在网页界面中为用户给定的查询（即任务描述）检索和定位重要元素。与先前主要关注自主网页导航的工作不同，我们将问题分解为一个更原子的操作——大语言模型能否为给定的用户查询识别网页中的重要信息？这种分解使我们能够审视大语言模型当前的能力，并揭示它们所呈现的机遇与挑战。我们的实证实验表明，尽管大语言模型在检索重要 UI 元素方面表现出合理的性能水平，但仍有相当大的改进空间。我们希望我们的研究能启发后续工作，以克服该领域当前的挑战。
引用
@article{arxiv.2312.06147,
title = {"What's important here?": Opportunities and Challenges of Using LLMs in Retrieving Information from Web Interfaces},
author = {Faria Huq and Jeffrey P. Bigham and Nikolas Martelaro},
journal= {arXiv preprint arXiv:2312.06147},
year = {2023}
}
备注
Accepted to NeurIPS 2023 R0-FoMo Workshop