WebLists：使用可执行 LLM 智能体从复杂交互式网站提取结构化信息
人工智能
2025-04-18 v1 计算与语言
摘要
最近的网页智能体研究主要聚焦于导航和交易任务，较少强调大规模结构化数据提取。我们提出 WebLists，一个包含 200 个数据提取任务的基准测试，覆盖四个常见的商业和企业用例。每个任务都要求智能体导航至网页，适当配置后提取完整数据集并遵循明确定义的模式。我们展示了具备搜索能力的 LLM 和最前沿网页智能体在这些任务中表现不佳，分别仅达到 3% 和 31% 的召回率，尽管在问答任务中表现更好。为解决这一挑战，我们提出 BardeenAgent，一种新框架，使网页智能体能够将其执行转换为可重复的程序，并在具有相似结构的页面上进行大规模重放。BardeenAgent 还是首个能够利用 HTML 常规结构的 LLM 智能体。具体而言，BardeenAgent 构造通用的 CSS 选择器以捕获页面上所有相关项，然后拟合提取数据的操作。在 WebLists 基准测试中，BardeenAgent 实现了 66% 的总体召回率，显著超越最前沿网页智能体，且每行输出成本降低 3 倍。
引用
@article{arxiv.2504.12682,
title = {WebLists: Extracting Structured Information From Complex Interactive Websites Using Executable LLM Agents},
author = {Arth Bohra and Manvel Saroyan and Danil Melkozerov and Vahe Karufanyan and Gabriel Maher and Pascal Weinberger and Artem Harutyunyan and Giovanni Campagna},
journal= {arXiv preprint arXiv:2504.12682},
year = {2025}
}