利用大语言模型增强遗传改进变异操作
软件工程
2023-12-11 v1 人工智能
机器学习
神经与进化计算
摘要
大语言模型（LLMs）已成功应用于软件工程任务，包括程序修复。然而，它们在遗传改进（GI）等基于搜索的技术中的应用仍很大程度上未被探索。在本文中，我们评估将 LLMs 用作 GI 的变异算子以改进搜索过程。我们扩展了 Gin Java GI 工具包以调用 OpenAI 的 API 为 JCodec 工具生成编辑。我们使用 5 种不同的编辑类型对编辑空间进行随机采样。我们发现，通过基于 LLM 的编辑通过的单元测试补丁数量比标准 Insert 编辑最多高出 75%。此外，我们观察到与标准编辑相比，LLM 找到的补丁通常多样性较低。我们使用局部搜索运行 GI 以寻找运行时改进。尽管 LLM 增强的 GI 找到了许多改进补丁，但最佳改进补丁由标准 GI 找到。
引用
@article{arxiv.2310.19813,
title = {Enhancing Genetic Improvement Mutations Using Large Language Models},
author = {Alexander E. I. Brownlee and James Callan and Karine Even-Mendoza and Alina Geiger and Carol Hanna and Justyna Petke and Federica Sarro and Dominik Sobania},
journal= {arXiv preprint arXiv:2310.19813},
year = {2023}
}
备注
Accepted for publication at the Symposium on Search-Based Software Engineering (SSBSE) 2023