UI 语义组检测：在移动图形用户界面中对具有相似语义的 UI 元素进行分组
软件工程
2024-03-11 v1
摘要
UI 页面上的文本、小部件和图像并非独立工作。相反，它们被划分为组以实现特定的交互功能或视觉信息。现有的 UI 元素分组研究主要集中在特定的单一 UI 相关软件工程任务上，且其分组在外观和功能上各不相同。鉴于此，我们提出了语义组件组，将具有相似语义的相邻文本和非文本元素打包在一起。与那些面向任务的分组方法相比，我们的语义组件组可用于多种 UI 相关的软件任务，例如检索 UI 感知组、改进自动 UI 到代码生成的代码结构，以及为屏幕阅读器生成无障碍数据。为了识别 UI 页面上的语义组件组，我们提出了一种鲁棒的、基于深度学习的视觉检测器 UISCGD，它通过结合 UI 元素颜色表示和对组分布的学习先验，扩展了 SOTA deformable-DETR。该模型在我们的 UI 截图数据集上训练，该数据集包含来自 iOS 和 Android 平台 200 多个应用的 1988 个移动 GUI。评估显示，我们的 UISCGD 比最佳基线算法高出 6.1%，比其基础的 deformable-DETR 高出 5.4%。
引用
@article{arxiv.2403.04984,
title = {UI Semantic Group Detection: Grouping UI Elements with Similar Semantics in Mobile Graphical User Interface},
author = {Shuhong Xiao and Yunnong Chen and Yaxuan Song and Liuqing Chen and Lingyun Sun and Yankun Zhen and Yanfang Chang},
journal= {arXiv preprint arXiv:2403.04984},
year = {2024}
}
备注
Accepted at Displays