受心理学启发、从无GUI图像推断GUI部件感知组的无监督方法

图形用户界面（GUI）不仅仅是彼此无关的独立部件的集合，而是通过多种视觉线索将离散部件划分为组，从而形成选项卡、菜单、卡片或列表等更高阶的感知单元。自动将GUI分割为部件的感知组，构成了用以自动化GUI设计、实现与自动化任务的视觉智能的基础组成部分。尽管人类能以高度可靠的方式将GUI划分为有意义的部件感知组，感知分组对计算方法而言仍是一项开放挑战。现有方法依赖特定的启发式规则或依赖于特定GUI实现与运行时信息的监督机器学习。心理学与生物视觉研究已提出一组描述人类如何基于连通性、相似性、邻近性与连续性等视觉线索对视觉场景中元素进行分组的原理（即格式塔知觉理论）。这些原理与领域无关，且已被从业者广泛采用以组织GUI上的内容，从而提升美观度与可用性。受这些原理启发，我们提出一种新颖的基于图像的无监督方法，用于推断GUI部件的感知组。我们的方法仅需GUI像素图像，独立于GUI实现，且不需要任何训练数据。在从772个移动应用与20个UI设计样稿收集的1,091个GUI数据集上的评估表明，我们的方法显著优于最先进的基于特定启发式规则的基线。我们的感知分组方法为改进UI相关的软件工程任务创造了机遇。