基于深度学习的终端用户开发中移动应用草图自动代码生成
人机交互
2021-03-11 v1 人工智能
软件工程
摘要
在终端用户或计算教育中，移动应用开发的一个常见需求是将用户界面的草图转换为使用 App Inventor（一种流行的基于块的编程环境）的线框代码。由于该任务具有挑战性且耗时，我们提出了 Sketch2aia 方法来实现此过程的自动化。Sketch2aia 采用深度学习来检测手绘草图上最频繁出现的用户界面组件及其位置，创建用户界面的中间表示，然后自动生成线框的 App Inventor 代码。该方法实现了 87.72% 的平均用户界面组件分类准确率，初步用户评估结果表明其生成的线框在视觉相似性方面与草图高度吻合。该方法已作为 Web 工具实现，可有效且高效地支持移动应用的终端用户开发以及 K-12 阶段的用户界面设计教学。
引用
@article{arxiv.2103.05704,
title = {Automatic code generation from sketches of mobile applications in end-user development using Deep Learning},
author = {Daniel Baulé and Christiane Gresse von Wangenheim and Aldo von Wangenheim and Jean C. R. Hauck and Edson C. Vargas Júnior},
journal= {arXiv preprint arXiv:2103.05704},
year = {2021}
}
备注
18 pages