UI图层分组检测器：通过文本融合与边界框注意力对UI图层分组
计算机视觉与模式识别
2022-12-08 v1
摘要
随着移动应用的普及与繁荣，图形用户界面（GUI）面临巨大需求。从UI设计稿自动生成UI代码极大简化了开发流程。然而，设计稿中的嵌套图层结构影响了生成代码的质量与可用性。现有少数GUI自动化技术检测并分组嵌套图层以提升生成代码的可访问性。本文中，我们提出UI图层分组检测器作为一种基于视觉的方法，自动检测具有相同的语义含义的图像（即基本形状与视觉元素）与文本图层。我们提出文本融合与边界框注意力两个插件组件，利用设计稿中的文本信息作为分组定位的先验信息。我们构建了大规模UI数据集用于训练与测试，并提出了一种数据增强方法以提升检测性能。实验表明所提方法在图层分组方面取得了良好的准确率。
引用
@article{arxiv.2212.03440,
title = {UI Layers Group Detector: Grouping UI Layers via Text Fusion and Box Attention},
author = {Shuhong Xiao and Tingting Zhou and Yunnong Chen and Dengming Zhang and Liuqing Chen and Lingyun Sun and Shiyu Yue},
journal= {arXiv preprint arXiv:2212.03440},
year = {2022}
}
备注
10 pages, accepted to CICAI. This is a preprint version