GUILGET：基于 Transformer 的 GUI 布局生成
计算机视觉与模式识别
2023-04-19 v1
摘要
绘制图形用户界面（GUI）布局是 GUI 设计流程的一部分，也是软件应用成功的关键任务。手动在 GUI 布局中排列所有组件是一项耗时的工作。为了辅助设计师，我们开发了一种名为 GUILGET 的方法，用于从以 GUI 排列图（GUI-AGs）表示的定位约束中自动生成 GUI 布局。其目标是通过生成逼真且多样的 GUI 布局来支持 GUI 设计的初始步骤。现有的图像布局生成技术通常无法纳入 GUI 设计约束。因此，GUILGET 需要适配现有技术，以生成遵循 GUI 设计特有约束的 GUI 布局。GUILGET 基于 transformer，以捕捉 GUI-AG 中元素间关系的语义。此外，该模型通过最小化以下损失来学习约束：将每个组件置于其父布局内部的损失、在同一父布局内不让组件重叠的损失，以及组件对齐的损失。我们在 CLAY 数据集上进行的实验表明，我们的模型对 GUI-AG 中关系的理解最佳，并且在大多数评估指标上表现最优。因此，我们的工作通过提出一种有效考虑 GUI 元素约束的新方法，推动了 GUI 布局生成的改进，并为更高效的 GUI 设计流程铺平了道路。
引用
@article{arxiv.2304.09012,
title = {GUILGET: GUI Layout GEneration with Transformer},
author = {Andrey Sobolevsky and Guillaume-Alexandre Bilodeau and Jinghui Cheng and Jin L. C. Guo},
journal= {arXiv preprint arXiv:2304.09012},
year = {2023}
}
备注
12 pages, 5 figures, Canadian AI Conference 2023