ChatGPT与人类在黑盒测试中的协同：一项比较分析
软件工程
2024-01-26 v1
摘要
近年来，大型语言模型（LLM），如ChatGPT，在推动各种人工智能应用（包括自然语言处理和软件工程）方面发挥了关键作用。一个前景广阔但尚未充分探索的领域是将LLM用于软件测试，特别是黑盒测试。本文探讨了ChatGPT设计的测试用例与人类参与者设计的测试用例之间的比较。在本研究中，ChatGPT（GPT-4）和四位参与者各自根据作者编写的规格说明为三个应用程序创建了黑盒测试用例。目标是评估所提测试用例的实际适用性，识别潜在缺陷，并理解ChatGPT如何增强人类测试策略。ChatGPT生成的测试用例在测试视角覆盖率方面通常与人类参与者创建的测试用例相当或略胜一筹。此外，我们的实验表明，当ChatGPT与人类合作时，可以覆盖比各自单独完成时多得多的测试视角，这表明人类与ChatGPT之间的协作可能比人类配对工作更有效。尽管如此，我们注意到ChatGPT生成的测试用例存在某些问题，需要在使用前加以解决。
引用
@article{arxiv.2401.13924,
title = {ChatGPT and Human Synergy in Black-Box Testing: A Comparative Analysis},
author = {Hiroyuki Kirinuki and Haruto Tanno},
journal= {arXiv preprint arXiv:2401.13924},
year = {2024}
}