大语言模型驱动的图形用户界面代理的行为结构：人类价值观与交互结果

大语言模型驱动的网页图形用户界面代理正日益自动化日常在线任务。尽管它们很受欢迎，但关于用户偏好和价值观如何影响代理的推理和行为，我们知之甚少。在本工作中，我们研究了显性和隐性的用户偏好，以及底层的用户价值观，如何影响代理的决策和行动轨迹。我们构建了一个包含14个常见交互式网页任务的受控测试平台，涵盖购物、旅行、餐饮和住房，每个任务均从真实网站复制并与一个低保真度的大语言模型推荐系统集成。我们将12种人类偏好和价值观作为角色注入到四个最先进的代理中，并系统分析了它们的任务行为。我们的结果表明，注入偏好和价值观的提示一致地引导代理产生反映这些偏好和价值观的结果。虽然缺乏用户偏好或价值观引导会导致代理表现出强烈的效率偏差并采用最短路径策略，但它们的出现则通过更多地使用相应的过滤器和交互式网页功能来引导代理的行为轨迹。尽管有这些影响，主导性的界面线索（如折扣和广告）常常覆盖这些效果，缩短代理的行动轨迹，并引发合理化行为，这些行为掩盖而非反映了与价值观一致的推理。本文的贡献有两方面：（1）一个用于研究价值观在代理行为中影响的开源测试平台；（2）一项关于用户偏好和价值观如何塑造网页代理行为的实证研究。