Ansible Lightspeed 代码补全服务使用情况的洞察
摘要
能够生成代码的大语言模型 (LLM) 的出现，使得创建提高开发者生产力的工具成为可能。开发者用于编写软件的集成开发环境 (IDE) 常被用作与 LLM 交互的接口。尽管已发布许多此类工具，但几乎所有工具都专注于通用编程语言。特定领域语言，如那些对信息技术 (IT) 自动化至关重要的语言，尚未受到太多关注。Ansible 就是这样一种基于 YAML 的 IT 自动化专用语言。Ansible Lightspeed 是一项基于 LLM 的服务，专为根据自然语言提示生成 Ansible YAML 而设计。在本文中，我们介绍了 Ansible Lightspeed 服务的设计和实现。随后，我们利用多种指标评估了其对开发者的效用，包括扩展使用情况、用户编辑建议的分析以及用户情感分析。该评估基于收集自 10,696 名真实用户（包括 3,910 名回访用户）的数据。Ansible Lightspeed 服务的代码和分析框架已公开供他人使用。据我们所知，我们的研究是首个涉及数千名特定领域语言代码助手用户的研究。我们也是首个提供 N 天用户留存数据的代码补全工具，第 30 天的留存率为 13.66%。我们提出了一种改进的用户接受率版本，称为“强接受率”，其中仅当建议的编辑部分少于 50% 且这些编辑未改变建议的关键部分时，才视为接受了该建议。通过专注于 Ansible，Lightspeed 在多行 Ansible 任务建议上实现了 49.08% 的强接受率。基于我们的发现，我们提供了关于小型专用模型在特定领域背景下有效性的见解。
引用
@article{arxiv.2402.17442,
title = {Insights from the Usage of the Ansible Lightspeed Code Completion Service},
author = {Priyam Sahoo and Saurabh Pujar and Ganesh Nalawade and Richard Gebhardt and Louis Mandel and Luca Buratti},
journal= {arXiv preprint arXiv:2402.17442},
year = {2024}
}
备注
This paper has been published at the 39th IEEE/ACM International Conference on Automated Software Engineering (ASE 2024), Industry Showcase under the title "Ansible Lightspeed: A Code Generation Service for IT Automation"