V2S:将移动应用使用视频记录翻译为可重放场景的工具
软件工程
2021-03-09 v1
摘要
屏幕录制作为告知移动应用开发过程的丰富软件制品正变得日益重要。然而,从这些图形制品中提取信息所需的大量人工劳动可能会阻碍资源受限的移动开发者。本文提出 Video2Scenario(V2S),一种自动化工具,其处理 Android 应用使用的视频记录,利用神经目标检测与图像分类技术对所描绘的用户动作进行分类,并将这些动作翻译为可重放场景。我们进行了综合评估,以展示 V2S 在一系列设备和多样化使用案例及应用上复现所记录场景的能力。结果表明,基于其在描绘 3,534 个基于 GUI 的动作的 175 个视频上的表现,V2S 能准确复现所收集视频中约 89% 的动作。
引用
@article{arxiv.2103.04531,
title = {V2S: A Tool for Translating Video Recordings of Mobile App Usages into Replayable Scenarios},
author = {Madeleine Havranek and Carlos Bernal-Cárdenas and Nathan Cooper and Oscar Chaparro and Denys Poshyvnayk and Kevin Moran},
journal= {arXiv preprint arXiv:2103.04531},
year = {2021}
}