基于信息联合推理与群体反思的GUI自动化

构建用于GUI自动化任务的AI系统引发了显著的研究努力，其中利用MLLMs处理用户需求并给出操作。然而，GUI自动化涵盖的任务范围广泛，从文档处理到在线购物，从CAD到视频编辑。特定任务之间的差异性要求MLLMs在GUI自动化方面具有异构的能力并掌握多维 Expertise，导致构建此类模型面临挑战。为此，我们提出了GAIR：GUI Automation via Information-Joint Reasoning and Group Reflection，一种新颖的基于MLLM的GUI自动化代理框架，旨在整合知识并结合来自异构模型的能力，以构建性能更好的GUI自动化代理系统。由于不同的GUI特定MLLM是在不同数据集上训练的，因此具有不同的优势，GAIR引入了一个通用MLLM，用于联合处理来自多个GUI特定模型的信息，从而进一步提升代理框架的性能。该通用MLLM还作为决策者，尝试基于之前收集的信息执行合理的操作。当通用模型认为 insufficient information for a reasonable decision 时，GAIR会转入群体反思状态，该状态下，通用模型会根据各GUI特定模型的优势和不足，为其提供不同的指令和提示，驱动它们收集更具意义和准确性的信息，以支持更深入的推理和决策。我们通过在GUI基准测试上进行大量实验评估了GAIR的有效性和可靠性。