基于线框图的图像自编码器UI设计检索

Jieshan Chen; Chunyang Chen; Zhenchang Xing; Xin Xia; Liming Zhu; John Grundy; Jinshui Wang

doi:10.1145/3391613

基于线框图的图像自编码器UI设计检索

软件工程 2021-03-15 v1

作者: Jieshan Chen , Chunyang Chen , Zhenchang Xing , Xin Xia , Liming Zhu , John Grundy , Jinshui Wang

在 arXiv 上查看 ↗ PDF ↗ DOI ↗

摘要

UI 设计是软件开发不可或缺的一部分。对于许多缺乏 UI 设计经验的开发者而言,让他们接触大量真实应用的 UI 设计数据库,有助于他们快速建立对某一软件功能设计空间的现实认知,并从现有应用中获取设计灵感。然而,现有的基于关键词、基于图像相似度以及基于组件匹配的方法,在面对 UI 设计的巨大差异时,无法在大型数据库中可靠地找到与开发者所绘制的 UI 线框图相近的高保真 UI 设计。本文中,我们提出一种基于深度学习的 UI 设计搜索引擎以填补这一空白。我们搜索引擎的关键创新在于,利用大型真实应用 UI 设计数据库训练一个线框图图像自编码器,而无需标注相关 UI 设计。我们针对 Android UI 设计检索实现了该方法,并使用人工创建的相关 UI 设计以及人对 UI 设计检索结果的主观评估进行了大量实验。我们的实验证实了该搜索引擎相对于现有基于图像相似度或组件匹配方法的优越性能,并展示了我们的搜索引擎在真实世界 UI 设计任务中的实用性。

关键词

UI设计检索线框图图像自编码器深度学习 Android UI 软件开发

引用

@article{arxiv.2103.07085,
  title  = {Wireframe-Based UI Design Search Through Image Autoencoder},
  author = {Jieshan Chen and Chunyang Chen and Zhenchang Xing and Xin Xia and Liming Zhu and John Grundy and Jinshui Wang},
  journal= {arXiv preprint arXiv:2103.07085},
  year   = {2021}
}

备注

Accepted to TOSEM 2020

基于线框图的图像自编码器UI设计检索

摘要

关键词

引用

备注

相关论文