元素排序对 LM Agent 性能的影响
机器学习
2024-10-08 v3
摘要
语言模型代理（language model agents）在导航虚拟环境（如网页或桌面）方面受到广泛关注。为了有效导航，这类代理需要了解各种元素（如按钮、文本或图像）的信息。然而，尤其是在仅提供图形表示（即像素）的环境中，究竟哪些元素属性对代理性能影响最大，仍不明确。我们发现，元素呈现给语言模型的排序方式具有意想不到的重要影响——随机化网页中元素的排序会使代理性能下降，幅度相当于完全移除代理状态表示中所有可见文本。虽然网页提供了元素层次化的排序，但直接从像素解析元素时则不存在这种排序。此外，我们的实验表明，随着任务难度增加和模型更为复杂，排序的影响也随之增大。寻找有效的排序方式并不容易。我们研究了在网页和桌面环境中各种元素排序方法的影响。我们发现，维度约简为像素-only 环境提供了可行的排序方案。我们训练了一个 UI 元素检测模型，从像素中提取元素，并将我们的发现应用于代理基准测试——OmniACT——该基准测试仅可获取像素。我们的方法在平均任务完成数上超过了前一最先进方法的两倍以上。
引用
@article{arxiv.2409.12089,
title = {The Impact of Element Ordering on LM Agent Performance},
author = {Wayne Chi and Ameet Talwalkar and Chris Donahue},
journal= {arXiv preprint arXiv:2409.12089},
year = {2024}
}