将移动应用使用过程的视频记录转化为可重放场景

移动应用的屏幕录制易于获取，并捕获了与软件开发人员（例如缺陷或功能请求）密切相关的丰富信息，使其成为众包应用反馈的流行机制。因此，这些视频正成为开发人员必须管理的常见制品。鉴于移动开发的独特约束，包括快速发布周期与快速演进的平台，自动分析各类丰富软件制品的技术为移动开发人员带来益处。遗憾的是，由于屏幕录制的图形化特性，与其他类型（文本）制品相比，自动分析屏幕录制面临严峻挑战。为应对这些挑战，本文提出V2S，一种轻量、自动化的方法，用于将Android应用使用视频记录转化为可重放场景。V2S主要基于计算机视觉技术，并适配近期用于目标检测与图像分类的方案，以检测并分类视频中捕获的用户操作，进而将其转换为可重放测试场景。我们对V2S进行了涉及175段视频的广泛评估，这些视频描绘了从80余款流行Android应用中用户使用功能与复现缺陷收集的3,534个基于GUI的操作。结果表明，V2S能准确重放屏幕录制中的场景，并以最小开销复现约89%的已收集视频。与三家工业合作伙伴的案例研究从开发人员视角说明了V2S的潜在用途。