WorkArena：Web 智能体在解决常见知识工作任务上能力如何？
计算机视觉与模式识别
2024-03-13 v1
摘要
我们研究了基于大语言模型 (LLM) 的智能体通过 Web 浏览器与软件交互的应用。与以往工作不同，我们侧重于衡量智能体执行那些涵盖知识工作者利用企业软件系统进行的典型日常工作的任务的能力。为此，我们提出了 WorkArena，这是一个基于广泛使用的 ServiceNow 平台的、包含 33 项任务的远程托管基准。我们还引入了 BrowserGym，一个用于此类智能体设计和评估的环境，提供了丰富的动作集以及多模态观测。我们的实证评估表明，尽管当前的智能体在 WorkArena 上展现出潜力，但距离实现完全的任务自动化仍有相当大的差距。值得注意的是，我们的分析揭示了开源与闭源 LLM 之间存在显著的性能差异，突显了该领域未来探索与发展的一个关键方向。
引用
@article{arxiv.2403.07719,
title = {Dynamic Graph Representation with Knowledge-aware Attention for Histopathology Whole Slide Image Analysis},
author = {Jiawen Li and Yuxuan Chen and Hongbo Chu and Qiehe Sun and Tian Guan and Anjia Han and Yonghong He},
journal= {arXiv preprint arXiv:2403.07719},
year = {2024}
}
备注
Accepted by CVPR 2024