数字代理的自主评估与优化

Jiayi Pan; Yichi Zhang; Nicholas Tomlin; Yifei Zhou; Sergey Levine; Alane Suhr

数字代理的自主评估与优化

人工智能 2024-10-08 v3

作者: Jiayi Pan , Yichi Zhang , Nicholas Tomlin , Yifei Zhou , Sergey Levine , Alane Suhr

摘要

我们证明，领域通用的自动评估器能够显著提升用于网页导航和设备控制的代理的性能。我们实验了多种评估模型，在推理成本、设计模块化和准确性之间进行权衡。我们在多个流行的数字代理基准上验证了这些模型的性能，发现与 oracle 评估指标的一致性在 74.4% 到 92.9% 之间。最后，我们利用这些评估器通过微调和推理时引导来改进现有代理的性能。在无需任何额外监督的情况下，我们在流行基准 WebArena 上将最先进性能提升了 29%，并在设备控制设置中实现了约 75% 的相对改进。

关键词

自动评估数字代理网页导航设备控制微调推理时引导 WebArena

引用

@article{arxiv.2404.06474,
  title  = {Autonomous Evaluation and Refinement of Digital Agents},
  author = {Jiayi Pan and Yichi Zhang and Nicholas Tomlin and Yifei Zhou and Sergey Levine and Alane Suhr},
  journal= {arXiv preprint arXiv:2404.06474},
  year   = {2024}
}

备注

Published at COLM 2024. Code at https://github.com/Berkeley-NLP/Agent-Eval-Refine

数字代理的自主评估与优化

摘要

关键词

引用

备注

相关论文