从移动应用使用视频中提取可重放的交互
人机交互
2022-07-12 v1
摘要
移动应用的屏幕录制是用户分享其与应用交互方式的一种流行且易于获取的途径,例如在在线教程视频、用户评论或错误报告附件中。遗憾的是,无论是人还是系统,都难以仅从视频像素数据复现触摸驱动的交互。在本文中,我们介绍了一种从移动应用视频中提取并重放用户交互的方法,仅使用视频帧中的像素信息。为识别交互,我们应用基于启发式的图像处理和卷积深度学习来分割屏幕录制,对每段中的交互进行分类,并定位交互点。为在另一设备上重放交互,我们使用 UI 元素检测来匹配应用屏幕上的元素。我们使用两个数据集评估了我们基于像素的方法的可行性:Rico 移动应用数据集和一个包含 64 个同时具有 iOS 和 Android 版本应用的新数据集。我们发现我们的端到端方法可以在不同设备上成功重放大多数交互(iOS--84.1%,Android--78.4%),这朝着支持多种场景迈出了一步,包括自动标注现有视频中的交互、自动化 UI 测试和创建交互式应用教程。
引用
@article{arxiv.2207.04165,
title = {Extracting Replayable Interactions from Videos of Mobile App Usage},
author = {Jieshan Chen and Amanda Swearngin and Jason Wu and Titus Barik and Jeffrey Nichols and Xiaoyi Zhang},
journal= {arXiv preprint arXiv:2207.04165},
year = {2022}
}