读它,别看它:自动为缺陷录屏生成字幕
软件工程
2023-02-03 v1
摘要
移动应用的屏幕录制易于捕获且包含丰富信息,使其成为用户向开发者反馈缺陷报告中问题的流行机制。然而,观看缺陷录制并高效理解用户操作的语义对开发者而言可能耗时且繁琐。受电影行业中视频字幕概念的启发,我们提出一种轻量级方法 CAPdroid 来自动为缺陷录制生成字幕。CAPdroid 是一种纯基于图像且非侵入式的方法,利用图像处理与卷积深度学习模型对缺陷录制进行分割、推断用户操作属性并生成字幕描述。自动化实验展示了 CAPdroid 从录制中推断用户操作的良好性能,用户研究证实了我们所生成的步骤描述在辅助开发者复现缺陷方面的有用性。
引用
@article{arxiv.2302.00886,
title = {Read It, Don't Watch It: Captioning Bug Recordings Automatically},
author = {Sidong Feng and Mulong Xie and Yinxing Xue and Chunyang Chen},
journal= {arXiv preprint arXiv:2302.00886},
year = {2023}
}
备注
Accepted to 45th International Conference on Software Engineering (ICSE 2023)