超越聊天与点击：通过动态界面变换实现 GUI 代理的现场协助

复杂的视觉界面虽然功能强大，但学习曲线陡峭，用户必须在推理特定领域操作的同时，导航功能丰富的视觉界面。现有方法要么通过独立的聊天式交互提供帮助，要么需要为每个界面构建大量的应用特定工程才能在界面中原生集成支持。为此，我们提出现场协助（in-situ assistance）：通过在文档对象模型（DOM）级别进行轻量级、浏览器级干预，即可在任何活跃的网页界面中直接提供支持，无需重建应用程序或修改其底层逻辑。我们贡献了一个设计空间和一个用于 DOM 中现场协助的计算管线，描述了 GUI 代理如何插入、变异或重组网页元素，以使界面更易于用户理解、使用和导航。我们将现场协助实现于 DOMSteer，这是一个 Chrome 插件，它解释用户的帮助请求和活跃界面上下文，将其 grounding 到相关 UI 元素，并直接对活跃页面执行可逆的 DOM 操作，以提供协助，包括情境工具提示、控件突出显示、布局重组织。两个复杂视觉界面的定量评估表明，DOMSteer 提供了可靠且高效的现场协助。用例以及与基线 ChatGPTAtlas 的比较用户研究表明，DOMSteer 的可用性和有效性。总体而言，这些发现指向了 GUI 代理更广泛的角色：不仅仅是从旁边协助，更是主动重新配置活跃界面，以在用户需要时提供支持。