UI 图层合并器：基于视觉学习与边界先验的 UI 图层合并
计算机视觉与模式识别
2022-09-07 v3 人工智能
摘要
随着互联网行业 GUI 开发工作量的快速增长，一些关于智能方法的工作尝试从 UI 截图中生成可维护的前端代码。利用包含 UI 元数据的 UI 设计稿更为合适。然而，UI 设计稿中不可避免地出现碎片化图层，极大降低了代码生成质量。现有 GUI 自动化技术均未检测并合并碎片化图层以提升生成代码的可访问性。本文中，我们提出 UI Layers Merger（UILM），一种基于视觉的方法，可自动检测碎片化图层并将其合并为 UI 组件。我们的 UILM 包含合并区域检测器（MAD）与图层合并算法。MAD 融入边界先验知识以准确检测 UI 组件边界。随后，图层合并算法可搜索组件边界内的关联图层并将其合并为整体。我们提出一种动态数据增强方法以提升 MAD 性能。我们还构建了一个大规模 UI 数据集用于训练 MAD 并测试 UILM 性能。实验表明，所提方法在合并区域检测上优于最佳基线，并在图层合并上取得可观精度。
引用
@article{arxiv.2206.13389,
title = {UI Layers Merger: Merging UI layers via Visual Learning and Boundary Prior},
author = {Yun-nong Chen and Yan-kun Zhen and Chu-ning Shi and Jia-zhi Li and Liu-qing Chen and Ze-jian Li and Ling-yun Sun and Ting-ting Zhou and Yan-fang Chang},
journal= {arXiv preprint arXiv:2206.13389},
year = {2022}
}
备注
15 pages, accepted to Frontiers of Information Technology & Electronic Engineering. This is a preprint version, the copyright belongs to the Springer Nature journals