布局与图像识别驱动的跨平台自动化移动测试

碎片化问题已从Android扩展到不同平台，例如iOS、移动网页乃至某些应用（app）内的小程序。在此情形下，录制与回放测试脚本是一种流行的自动化移动应用测试方法。但这种方法在跨平台时遇到严重问题。同一应用的不同版本需要依赖不同的平台支持进行开发以支持不同平台。因此，移动应用开发者需要针对完全相同的测试需求为多个平台开发并维护测试脚本，极大增加了测试成本。然而，我们发现开发者为同一应用在不同平台上的版本采用高度相似的用户界面布局。这一现象启发我们从相似UI布局的角度回放测试脚本。我们提出一个图像驱动的移动应用测试框架，利用部件特征匹配与布局特征匹配。我们使用计算机视觉技术对应用截图进行UI特征比较与布局层次提取，以获得具有丰富上下文信息的UI结构，包括坐标、相对关系等。基于获取的UI结构，我们可以形成平台无关的测试脚本，然后定位待测目标部件。因此，所提框架根据一种新颖的平台无关测试脚本模型非侵入式地回放测试脚本。我们还设计并实现了一个名为LIT的工具，将所提框架付诸实践，并基于此开展了一项实证研究以评估该测试框架的有效性与可用性。结果表明，整体回放准确率在Android上达到约63.39%（比最先进方法提升14%），在iOS上达到21.83%（比最先进方法提升98%）。