LLM 仍无法避免 Instanceof：对 GPT-3.5、GPT-4 和 Bard 处理面向对象编程作业能力的调查
软件工程
2024-03-12 v1 新兴技术
摘要
大型语言模型（LLM）已成为辅助学生解决编程作业的有前景的工具。然而，面向对象编程（OOP）因其涉及实体、关系和职责识别的固有复杂性，尚未被这些工具所掌握。与入门编程练习不同，关于LLM在OOP语境下的行为存在研究空白。在本研究中，我们实验了三个著名的LLM——GPT-3.5、GPT-4和Bard——以解决教育环境中使用的真实世界OOP练习，随后使用自动评估工具（AAT）验证了它们的解决方案。结果显示，尽管这些模型经常能够得出基本可行的练习解决方案，但它们往往忽视了OOP的最佳实践。GPT-4表现最为突出，其次是GPT-3.5，Bard垫底。我们提倡在使用这些模型时重新强调代码质量，并探讨了在教学环境中将LLM与AAT结合使用的潜力。总而言之，尽管GPT-4展现了潜力，但在OOP教育中部署这些模型仍需要监督。
引用
@article{arxiv.2403.06254,
title = {LLMs Still Can't Avoid Instanceof: An Investigation Into GPT-3.5, GPT-4 and Bard's Capacity to Handle Object-Oriented Programming Assignments},
author = {Bruno Pereira Cipriano and Pedro Alves},
journal= {arXiv preprint arXiv:2403.06254},
year = {2024}
}
备注
This is the author's version of the work. It is posted here for your personal use. Not for redistribution. The definitive Version of Record was published in the Proceedings of the 46th International Conference on Software Engineering: Software Engineering Education and Training track (ICSE-SEET '24, Lisbon, Portugal)