让应用不再“盲”：基于深度学习预测移动端 GUI 组件的自然语言标签
人机交互
2020-07-03 v2 计算机视觉与模式识别
软件工程
摘要
据世界卫生组织(WHO)估计，全球约有13亿人患有某种形式的视力障碍，其中3600万为盲人。由于其身体障碍，让这一少数群体融入社会是一个具有挑战性的问题。近年来智能手机的兴起提供了一种新方案，使盲人群体能便捷获取信息与服务以理解世界。视力障碍用户可采用移动操作系统中内置的屏幕阅读器来读取应用内每个界面的内容，并通过手势与手机交互。然而，使用屏幕阅读器的前提是开发人员在开发应用时必须为基于图像的组件添加自然语言标签。遗憾的是，根据我们对10,408款Android应用的分析，超过77%的应用存在标签缺失问题。多数问题源于开发人员缺乏对少数群体需求的意识与知识。即便开发人员想为UI组件添加标签，他们也可能无法给出简洁清晰的描述，因为大多数人自身并无视觉障碍。为应对这些挑战，我们开发了名为LabelDroid的基于深度学习的模型，通过从Google Play中的大规模商业应用学习，自动预测基于图像的按钮标签。实验结果表明，我们的模型能做出准确预测，且生成的标签质量高于真实Android开发人员的标注。
引用
@article{arxiv.2003.00380,
title = {Unblind Your Apps: Predicting Natural-Language Labels for Mobile GUI Components by Deep Learning},
author = {Jieshan Chen and Chunyang Chen and Zhenchang Xing and Xiwei Xu and Liming Zhu and Guoqiang Li and Jinshui Wang},
journal= {arXiv preprint arXiv:2003.00380},
year = {2020}
}
备注
Accepted to 42nd International Conference on Software Engineering