与 AI 编程：面向程序员的 ChatGPT、Gemini、AlphaCode 与 GitHub Copilot 评估
软件工程
2024-11-15 v1 人工智能
摘要
我们的日常生活如今严重依赖人工智能（AI）驱动的大型语言模型（LLM）。与普通用户一样，程序员也正受益于最新的大型语言模型。鉴于 AI 模型在现代软件开发中扮演的关键角色，本研究对领先的编程助手进行了全面评估，包括 ChatGPT、Gemini（Bard AI）、AlphaCode 和 GitHub Copilot。该评估基于在 Java、Python 和 C++ 等不同编程语言下的自然语言处理与代码生成准确性等任务。基于评估结果，本文强调了它们的优势与不足，以及进一步改进以提升最新流行模型的可靠性与准确性的重要性。尽管这些 AI 助手在语言理解与代码生成方面展现出较高水平，但伴随伦理考量与负责任的使用，它们也引发了讨论的必要性。随着时间推移，开发更精细的 AI 技术对于在各领域实现先进解决方案至关重要，尤其是当了解这些模型的特性细节及其潜在影响时。本研究对不同 LLM 进行了比较，并针对快速变化的 AI 模型领域提供了重要反馈。它还强调了需要采用符合伦理的开发实践，以实现 AI 模型的全部潜力。
引用
@article{arxiv.2411.09224,
title = {Programming with AI: Evaluating ChatGPT, Gemini, AlphaCode, and GitHub Copilot for Programmers},
author = {Md Kamrul Siam and Huanying Gu and Jerry Q. Cheng},
journal= {arXiv preprint arXiv:2411.09224},
year = {2024}
}
备注
8 pages