推进GenAI辅助编程——GPT-4与GLM-4在提示效率与代码质量上的比较研究
软件工程
2024-02-21 v1 人工智能
摘要
本研究旨在通过对GPT-4和GLM-4的比较分析，探索将GenAI作为编程工具的最佳实践。通过评估不同复杂度级别的提示策略，我们发现最简单直接的提示策略能产生最佳的代码生成结果。此外，添加类似CoT的初步确认步骤会进一步提高成功率。我们的结果显示，尽管GPT-4的表现略优于GLM-4，但对普通用户而言差异微乎其微。在我们简化的评估模型中，我们看到代码生成效率比传统编码规范提高了30到100倍。我们的GenAI编码研讨会突显了本研究中开发的提示方法的有效性和可及性。我们观察到，GenAI辅助编程将引发编程范式的转变，这要求开发者承担围绕监督和指导GenAI的新角色，并更加专注于设定高层目标和致力于创新。
引用
@article{arxiv.2402.12782,
title = {Advancing GenAI Assisted Programming--A Comparative Study on Prompt Efficiency and Code Quality Between GPT-4 and GLM-4},
author = {Angus Yang and Zehan Li and Jie Li},
journal= {arXiv preprint arXiv:2402.12782},
year = {2024}
}
备注
18 pages, 4 figures, 3 tables