利用众包与深度学习建模移动界面可点击性
人机交互
2019-03-01 v1
摘要
点击是移动触摸屏界面中极为重要的手势，然而人们仍经常需要通过试错来学习哪些元素是可点击的。针对这一日常手势预测人类行为，可帮助移动应用设计者理解其应用可用性的一个重要方面，而无需开展用户研究。本文提出一种大规模建模移动界面可点击性的方法。我们通过众包对丰富移动应用集合上的界面可点击性进行了大规模数据收集，并从计算角度研究了人们用于区分可点击与不可点击元素的多种指示符。基于该数据集，我们开发并训练了一个深度神经网络，用于预测用户将某一界面元素感知为可点击或不可点击的可能性。利用训练好的可点击性模型，我们开发了 TapShoe 这一工具，可自动诊断人类用户所感知的（由我们的模型预测得到的）每个元素的可点击性，与开发者或设计者指定的预期或实际可点击状态之间的不匹配。我们的模型取得了合理的准确率：在匹配人类对可点击 UI 元素的识别上，平均精确率 90.2% 且召回率 87.0%。通过针对 7 名专业交互设计者的非正式评估，可点击性模型与 TapShoe 受到了设计者的好评。
引用
@article{arxiv.1902.11247,
title = {Modeling Mobile Interface Tappability Using Crowdsourcing and Deep Learning},
author = {Amanda Swearngin and Yang Li},
journal= {arXiv preprint arXiv:1902.11247},
year = {2019}
}