LLM 用于测试脚本生成与迁移：挑战、能力与机遇
软件工程
2023-09-26 v1
摘要
本文研究了大语言模型（LLM）在移动应用测试脚本生成领域的应用。测试脚本生成是软件测试的重要组成部分，可实现重复性测试任务的高效可靠自动化。然而，现有生成方法常遇局限，例如难以在不同设备、平台和应用中准确捕获与复现测试脚本。这些挑战源于屏幕尺寸、输入方式、平台行为、API 不一致及应用架构的差异。克服这些局限对于实现鲁棒而全面的测试自动化至关重要。通过利用 LLM 的能力，我们旨在应对这些挑战并探索其作为测试自动化通用工具的潜力。我们考察 LLM 在适应多样设备与系统的同时准确捕获并生成测试脚本的能力。此外，我们通过评估其处理操作系统差异与平台特定行为的能力，评测其跨平台生成能力。进而，我们探索 LLM 在跨应用迁移中的应用，即基于已有脚本在不同应用与软件环境中生成测试脚本。在整个研究中，我们分析其对各类用户界面、应用架构与交互模式的适应性，以确保脚本生成的准确性与兼容性。本研究结果有助于理解 LLM 在测试自动化中的能力。最终，本研究旨在改进软件测试实践，助力应用开发者实现更高水平的软件质量与开发效率。
引用
@article{arxiv.2309.13574,
title = {LLM for Test Script Generation and Migration: Challenges, Capabilities, and Opportunities},
author = {Shengcheng Yu and Chunrong Fang and Yuchen Ling and Chentian Wu and Zhenyu Chen},
journal= {arXiv preprint arXiv:2309.13574},
year = {2023}
}
备注
Accepted by the 23rd IEEE International Conference on Software Quality, Reliability, and Security (QRS 2023)