从图像中学习推断用户界面属性
计算机视觉与模式识别
2020-01-01 v1 图形学
机器学习
机器学习
摘要
我们探索了学习推断用户界面属性的新领域，以帮助开发者自动化用户界面实现过程。具体而言，给定设计师创建的输入图像，我们学习推断其实现，该实现在渲染后与输入图像视觉上一致。为此，我们采用黑盒渲染引擎及其支持的一组属性(如颜色、边框半径、阴影或文本属性)，用它生成合适的合成训练数据集，然后训练专门的神经模型来预测各属性值。为提升像素级精度，我们额外使用模仿学习训练神经策略，通过学习在属性空间中计算原始图像与渲染图像的相似度(而非基于像素值差异)来精炼预测的属性值。我们将方法实例化为推断 Android Button 属性值的任务，并在由真实 Google Play Store 应用组成的数据集上达到 92.5% 的准确率。
引用
@article{arxiv.1912.13243,
title = {Learning to Infer User Interface Attributes from Images},
author = {Philippe Schlattner and Pavol Bielik and Martin Vechev},
journal= {arXiv preprint arXiv:1912.13243},
year = {2020}
}