WebDS：面向Web数据科学的端到端基准

许多真实世界的数据科学任务都涉及复杂的Web交互：寻找互联网上可用的适当数据、从不同位置合成多模态数据、并生成汇总分析。现有的Web基准常常关注简单化的交互，往往不要求多样化的工具使用能力。相反，传统数据科学基准通常集中于静态、高度结构化的数据集，不评估涵盖数据获取、清洗、分析和洞察生成的端到端工作流程。为此，我们引入 WebDS，即第一个端到端Web数据科学基准。它包含来自 29 个多样化网站（从结构化政府数据门户到非结构化新闻媒体）的 870 个Web数据科学任务，挑战代理人执行复杂的、跨步骤的、基于工具的操作，跨越异构数据格式，以更真实地反映现代数据分析的现实。对当前 SOTA LLM 代理人的评估表明，在完成这些任务方面存在显著的性能差距。例如，Browser Use 在 WebVoyager 上完成 $80\%$ 的任务，在 WebDS 上仅完成 15% 的任务，我们的分析表明，这是由于新的失败模式导致的，如信息 grounding 不足、重复行为和捷径获取等。相比之下，人类实现约 90% 的准确率，凸显了当前代理人与人类性能之间的重大差距。通过提供更稳健且更真实的测试平台，WebDS 为开发实用且可行的 LLM 数据科学奠定了显著进展的基础。