视觉属性如何影响网页智能体？用户界面设计因素的全面评估

网页智能体在广泛的网页任务上已展现出强大的性能。然而，现有研究对环境变化的影响主要聚焦于对抗性攻击的鲁棒性，关于智能体在良好场景下的偏好关注较少。虽然早期研究探索了文本属性对agent行为的影响，但系统性地理解视觉属性如何塑造agent决策的研究仍有限。为此，我们引入VAF（Visual Attribute Factors，视觉属性因素），一个受控评估管道，用于量化网页视觉属性因素如何影响网页agent决策。具体而言，VAF包含三个阶段：(i) 变体生成，确保变体在语义上与原始项目完全相同，仅在视觉属性上存在差异；(ii) 浏览交互，在agent通过滚动和点击感兴趣项目的方式浏览页面，模拟人类用户的浏览行为；(iii) 通过点击动作和推理验证，我们使用目标点击率和目标提及率两个指标联合评估视觉属性的影响。通过量化原始版本与变体之间的决策差异，我们识别出最影响agent行为的视觉属性。广泛实验表明，背景颜色对比、项目大小、位置和卡片清晰度对agent行为影响显著，而字体样式、文本颜色和项目图像清晰度则影响较小。