WebGraphEval：基于图表示用于Web代理的多轮轨迹评估
人工智能
2025-10-23 v1
摘要
当前对Web代理的评估大多简化为二元成功指标或遵循单一参考轨迹，忽略了基准数据集中所呈现的结构性多样性。我们提出了 WebGraphEval 框架，将来自多个代理的轨迹抽象为统一加权动作图。该表示直接兼容诸如 WebArena 等基准，利用排行榜运行和新收集的轨迹，无需修改环境。框架对动作进行规范编码、合并重复行为，并应用结构分析，包括奖励传播和成功加权边统计。对来自六个Web代理数千条轨迹的评估显示，图抽象捕捉了跨模型的常规性，凸显了冗余与低效，并识别了被结果导向指标所忽视的关键决策点。通过将Web交互建模为图结构数据，WebGraphEval 确立了一种用于Web代理的通用方法，涵盖多路径、跨代理和效率感知的评估。
引用
@article{arxiv.2510.19205,
title = {WebGraphEval: Multi-Turn Trajectory Evaluation for Web Agents using Graph Representation},
author = {Yaoyao Qian and Yuanli Wang and Jinda Zhang and Yun Zong and Meixu Chen and Hanhan Zhou and Jindan Huang and Yifan Zeng and Xinyu Hu and Chan Hee Song and Danqing Zhang},
journal= {arXiv preprint arXiv:2510.19205},
year = {2025}
}
备注
39th Conference on Neural Information Processing Systems (NeurIPS 2025) Workshop: Multi-Turn Interactions in Large Language Models