GUISpector：用于 GUI 原型中自然语言需求自动化验证的 MLLM 代理框架
软件工程
2025-10-07 v1
摘要
GUI 是交互式系统的基石，在原型设计中发挥着关键作用，尤其是在早期需求征集过程中。确保 GUI 实现满足自然语言需求对于稳健的软件工程至关重要，特别是当 LLM 驱动的编程代理日益集成到开发工作流中。现有的 GUI 测试方法，无论是传统方法还是 LLM 驱动方法，往往难以处理现代界面复杂性，通常缺乏可操作的反馈，以及与自动化开发代理的有效集成。在本文中，我们引入了 GUISpector，一个利用基于多模态 (M)LLM 的代理进行自然语言需求在 GUI 原型中自动化验证的新框架。首先，GUISpector 将 MLLM 代理适配，用于解释和操作化自然语言需求，使其能够在 GUI 应用程序之间自主规划和执行验证轨迹。其次，GUISpector 从代理的验证过程中系统性地提取详细的自然语言反馈，为开发者提供可操作的见解，可用于迭代细化 GUI 制品，或直接用于 LLM 驱动的代码生成，以形成闭环反馈。最后，我们提出了一个集成工具，统一了这些功能，为实践者提供了一个易用的界面，用于监督验证运行、检查代理推理过程，并管理整个需求验证过程。我们在基于 900 条接受准则注释的 150 条需求的全面测试集上评估了 GUISpector，证明其有效检测需求满足情况和违规情况，凸显了其将可操作反馈无缝集成到自动化 LLM 驱动开发工作流中的潜力。GUISpector 的视频演示可在 https://youtu.be/JByYF6BNQeE 查看，展示了其主要功能。
引用
@article{arxiv.2510.04791,
title = {GUISpector: An MLLM Agent Framework for Automated Verification of Natural Language Requirements in GUI Prototypes},
author = {Kristian Kolthoff and Felix Kretzer and Simone Paolo Ponzetto and Alexander Maedche and Christian Bartelt},
journal= {arXiv preprint arXiv:2510.04791},
year = {2025}
}