将复杂移动应用 UI 手势的视频记录转换为可重放场景

移动应用的屏幕录制易于获取，并捕获了与软件开发人员相关的丰富信息（例如错误报告或功能请求），使其成为众包应用反馈的流行机制。因此，这些视频正成为开发人员必须管理的常见产物。考虑到移动开发的独特约束，包括快速发布周期和快速演进的平台，用于分析各类丰富软件产物的自动化技术为移动开发人员带来了益处。遗憾的是，由于屏幕录制的图形化特性，与其他类型的（文本）产物相比，自动分析屏幕录制存在严峻挑战。为应对这些挑战，本文提出 V2S+，一种将 Android 应用使用过程的视频录制转换为可重放场景的自动化方法。V2S+ 主要基于计算机视觉技术，并适配了近期用于目标检测和图像分类的解决方案，以检测并分类视频中捕获的用户手势，并将其转换为可重放的测试场景。鉴于 V2S+ 采用基于计算机视觉的方法，它同时适用于混合型和原生型 Android 应用。我们对 V2S+ 进行了广泛评估，涉及 243 段视频，这些视频描绘了从 90 多个流行原生与混合 Android 应用中用户使用功能及复现错误所收集的 4,028 个基于 GUI 的操作。我们的结果表明，V2S+ 能够准确地从屏幕录制中重放场景，并能在物理设备上复现原生应用场景中约 90.2% 的连续操作，在模拟器上复现混合应用场景中约 83% 的连续操作，且开销较低。与三家行业合作伙伴的案例研究从开发人员视角说明了 V2S+ 的潜在实用性。