由LLM驱动的 Soap Opera 测试自动化：可行性、挑战及未来之路

探索性测试（ET）利用测试人员的知识、创造力和经验，创建各种测试，以从用户视角发现意外错误。尽管ET在系统级交互式系统测试中效果显著，但其对人工执行的依赖阻碍了大规模采用。本文探讨了自动化基于情景的探索性测试（即 Soap Opera 测试）的可行性、挑战及未来发展方向。我们进行了形式化研究，识别了有效进行手动 Soap Opera 测试的关键要点以及自动化过程中的挑战。随后，我们构建了一个利用LLM和情景知识图（SKG）的多智能体系统，以自动化 Soap Opera 测试。该系统由Planner、Player和Detector三个多模态智能体组成，协作执行测试并识别潜在错误。实验结果表明，自动化 Soap Opera 测试具有潜力，但与手动执行之间仍存在显著差距，尤其是在情景边界条件的探索不足以及错误识别不准确方面。基于此，我们展望了自动化 Soap Opera 测试的未来之路，重点聚焦于神经符号方法的协同效应、人机协同学习以及将 Soap Opera 测试与更广泛的软件工程实践相结合。这些见解旨为未来研究指引和启发。