学习去噪原始移动端 UI 布局以实现大规模数据集改进
人机交互
2022-01-14 v2 计算机视觉与模式识别
机器学习
摘要
移动屏幕的布局是 UI 设计研究及屏幕语义理解的关键数据源。然而，现有数据集中的 UI 布局往往含有噪声、与其视觉表征不匹配，或包含难以分析与建模的通用或应用特定类型。本文提出 CLAY 流水线，其采用深度学习方法对 UI 布局去噪，使我们能够自动大规模改进现有移动端 UI 布局数据集。我们的流水线同时接收截图与原始 UI 布局，并通过移除错误节点以及为每个节点分配语义上有意义的类型来标注原始布局。为验证我们的数据清洗流水线，我们基于公开移动 UI 语料库 Rico 的截图与原始布局创建了包含 59,555 个人工标注屏幕布局的 CLAY 数据集。我们的深度模型取得了高精度，在检测无有效视觉表征的布局对象上 F1 分数为 82.7%，在识别对象类型上为 85.9%，显著优于启发式基线。我们的工作为创建大规模高质量 UI 布局数据集以支撑数据驱动的移动 UI 研究奠定了基础，并减少了对代价高昂的人工标注的需求。
引用
@article{arxiv.2201.04100,
title = {Learning to Denoise Raw Mobile UI Layouts for Improving Datasets at Scale},
author = {Gang Li and Gilles Baechler and Manuel Tragut and Yang Li},
journal= {arXiv preprint arXiv:2201.04100},
year = {2022}
}
备注
Accepted to ACM CHI 2022