LLM是否可以编写CI？对GitHub Actions配置自动生成的研究
软件工程
2025-07-24 v1
摘要
持续集成（CI）服务（如GitHub Actions）需要开发人员编写基于YAML的配置，这既单调又容易出错。尽管大型语言模型（LLM）日益用于自动化软件工程任务，但其生成CI配置的能力仍未得到充分探索。本文提出了首个评估六种LLM用于从自然语言描述生成GitHub Actions配置的初步研究。我们评估了三个通用型基础模型（GPT-4o、Llama、Gemma）和三个代码预训练模型（GPT-4.1、Code Llama、CodeGemma）。我们还引入了首个标注数据集，源自GitHub Actions文档，将描述与相应的最佳实践YAML配置配对。零样本提示下实现了最高达69%的相似度，仅有3%的完美匹配。代码预训练模型在YAML-based CI任务中略低于通用型模型，揭示了LLM在CI配置生成方面的局限性。分析GPT-4o输出发现存在步骤缺失、步骤重命名、误解描述以及不必要的添加等问题，这可能影响结构和上下文的正确性，表明生成质量与可执行CI配置所需的精确度之间存在差距。我们的研究为改进LLM与配置语言的对齐并指导未来CI自动化和工具链支持提供了见解。
引用
@article{arxiv.2507.17165,
title = {Can LLMs Write CI? A Study on Automatic Generation of GitHub Actions Configurations},
author = {Taher A. Ghaleb and Dulina Rathnayake},
journal= {arXiv preprint arXiv:2507.17165},
year = {2025}
}
备注
Accepted at the 41st IEEE International Conference on Software Maintenance and Evolution 2025 (ICSME'25)