GPT-3.5 与 Bard AI 模型生成 Java 函数代码能力的初步分析
软件工程
2023-05-17 v1 计算与语言
摘要
本文评估了两种最先进的人工智能（AI）模型 GPT-3.5 和 Bard 在给定函数描述情况下生成 Java 代码的能力。我们从 CodingBat.com（一个提供编程练习问题的流行在线平台）获取描述。我们通过该平台自身的测试用例验证了正确性，并比较了两个模型生成的 Java 代码。结果表明两个模型的能力存在明显差异。GPT-3.5 表现出更优的性能，对约 90.6% 的函数描述生成了正确代码，而 Bard 仅对 53.1% 的函数生成了正确代码。尽管两个模型各有优缺点，这些发现为开发和精炼更先进的 AI 辅助代码生成工具提供了潜在途径。本研究强调了 AI 在自动化和支撑软件开发某些方面的潜力，尽管要充分实现这一潜力还需进一步研究。
引用
@article{arxiv.2305.09402,
title = {A Preliminary Analysis on the Code Generation Capabilities of GPT-3.5 and Bard AI Models for Java Functions},
author = {Giuseppe Destefanis and Silvia Bartolucci and Marco Ortu},
journal= {arXiv preprint arXiv:2305.09402},
year = {2023}
}