基于老虎机算法选择源代码生成工具
软件工程
2023-12-21 v1
摘要
背景：最近，ChatGPT 等代码生成工具因其性能而受到关注。通常，需要从候选列表中选择新的代码生成工具时，需先对其性能进行分析。若无此类分析，选择无效工具的风险较高，从而 negatively 影响软件开发生产力。此外，对新代码生成工具进行事前分析需要花费时间和精力。目标：为了在无需事前分析且低风险的情况下使用新的代码生成工具，我们建议在软件开发过程中评估新工具（即在线优化）。方法：我们应用老虎机算法（BA）方法，帮助从候选者中选择最佳的代码生成工具。开发人员评估工具生成的结果是否正确。当代码生成和评估重复进行时，评估结果会被保存。我们利用存储的评估结果，基于 BA 方法选择最佳工具。我们的初步分析使用 BA 评估了五个代码生成工具，涉及 164 个代码生成案例。结果：随着评估的进行，BA 方法选择了 ChatGPT 作为最佳工具，且在评估期间，BA 方法的平均准确率优于表现第二好的工具。我们的结果揭示了 BA 在辅助选择表现最佳的代码生成工具方面的可行性和有效性。
引用
@article{arxiv.2312.12813,
title = {Selecting Source Code Generation Tools Based on Bandit Algorithms},
author = {Ryoto Shima and Masateru Tsunoda and Yukasa Murakami and Akito Monden and Amjed Tahir and Kwabena Ebo Bennin and Koji Toda and Keitaro Nakasai},
journal= {arXiv preprint arXiv:2312.12813},
year = {2023}
}