用户界面永无止境的学习
人机交互
2023-08-21 v1
摘要
机器学习模型已被训练用于预测用户界面（UI）的语义信息，以使应用更易用、更易测试并实现自动化。目前，大多数模型依赖于由人类众包工作者收集和标注的数据集，这一过程成本高昂且对某些任务出奇地容易出错。例如，可以从截图（即基于视觉指示符）或潜在不可靠的元数据（如视图层级）猜测某个 UI 元素是否“可点击”，但确定知晓的一种方式是编程式地点击该 UI 元素并观察效果。我们构建了永无止境的 UI 学习者（Never-ending UI Learner），这是一个应用爬虫，自动从移动应用商店安装真实应用并爬取它们以发现新的且具有挑战性的训练样本来学习。该永无止境的 UI 学习者已爬取超过 5,000 设备小时，在 6,000 个应用上执行了超过五十万次操作，训练了三个计算机视觉模型用于 i) 可点击性预测，ii) 可拖拽性预测，以及 iii) 屏幕相似度。
引用
@article{arxiv.2308.08726,
title = {Never-ending Learning of User Interfaces},
author = {Jason Wu and Rebecca Krosnick and Eldon Schoop and Amanda Swearngin and Jeffrey P. Bigham and Jeffrey Nichols},
journal= {arXiv preprint arXiv:2308.08726},
year = {2023}
}