Sketch2Code：利用深度神经网络实时将草图转换为 UI
计算机视觉与模式识别
2019-10-22 v1 机器学习
图像与视频处理
摘要
用户界面（UI）原型设计是应用开发早期阶段的必要步骤。将图形用户界面（UI）的草图转换为 coded UI 应用是一项缺乏新意却耗时的任务，由 UI 设计师执行。一个能替代人工直接实现 UI 设计的自动化系统可极大加速此过程。提出此类系统的工作主要聚焦于以 UI 线框图而非手绘草图作为输入。在本文中，我们提出一种新方法：采用在我们自定义草图数据库上训练的深度神经网络来检测输入草图中的 UI 元素。草图中目标的检测是一项特殊的视觉识别任务，需要我们的深度神经网络模型尝试提供的特定解决方案。网络输出是一个平台无关的 UI 表示对象。该 UI 表示对象是一个表示所识别 UI 元素及其属性的键值对字典。这进一步由我们的 UI 解析器消费以生成不同平台的代码。固有的平台无关性使模型经单次训练即可创建多平台 UI 原型。这种无需两个训练模型的两步法优于其他方法，给出时间高效的结果（平均时间：129 ms）且具备良好精度。
引用
@article{arxiv.1910.08930,
title = {Sketch2Code: Transformation of Sketches to UI in Real-time Using Deep Neural Network},
author = {Vanita Jain and Piyush Agrawal and Subham Banga and Rishabh Kapoor and Shashwat Gulyani},
journal= {arXiv preprint arXiv:1910.08930},
year = {2019}
}