面向CI/CD问答的Llama-based聊天机器人开发：埃尔森实证案例研究
软件工程
2024-08-20 v1
摘要
本文呈现我们在埃尔森（Ericsson），一家跨国电信公司开发基于Llama的聊天机器人以回答持续集成和持续部署（CI/CD）问题的经验。我们的聊天机器人旨在处理埃尔森CI/CD文档的特定性，通过采用检索增强生成（retrieval-augmented generation, RAG）模型以提升准确性和相关性。我们对聊天机器人在工业CI/CD相关问题上的实证评估表明，集成检索器（结合BM25和嵌入检索器）的性能最佳。当针对埃尔森的72个CI/CD问题与答案的ground truth进行评估时，我们最准确的聊天机器人配置在完全正确答案中占61.11%，部分正确答案占26.39%，错误答案占12.50%。通过对部分正确和错误答案的错误分析，我们讨论不准确性的根本原因，提供改进见解。我们还反思所获经验教训，提出未来提升聊天机器人准确性的方向。
引用
@article{arxiv.2408.09277,
title = {Developing a Llama-Based Chatbot for CI/CD Question Answering: A Case Study at Ericsson},
author = {Daksh Chaudhary and Sri Lakshmi Vadlamani and Dimple Thomas and Shiva Nejati and Mehrdad Sabetzadeh},
journal= {arXiv preprint arXiv:2408.09277},
year = {2024}
}
备注
This paper has been accepted at the 40th IEEE International Conference on Software Maintenance and Evolution (ICSME 2024)