COSMosFL:用于故障定位的小型语言模型集成
软件工程
2025-02-06 v1 机器学习
摘要
大型语言模型正迅速被用于构建强大的软件工程工具和智能体,但其中大多数严重依赖超大型闭源模型。这反过来可能因安全问题、财务成本和环境影响而阻碍更广泛的采用。最近,许多开源小型语言模型正在发布并受到关注。虽然小型语言模型更小、更节能,因此更容易本地部署,但与大型闭源大型语言模型相比,它们往往表现出更差的性能。我们提出了COSMos,这是一种任务级大型语言模型集成技术,利用投票机制,在小型语言模型和大型语言模型之间提供更广泛的选择范围。我们使用基于大型语言模型的故障定位技术AutoFL实例化COSMos,并报告了大型语言模型准确性与各种成本(如能耗、推理时间和使用的令牌数量)之间的成本效益权衡。使用Defects4J进行的实证评估表明,与单个模型相比,COSMos可以构建有效的集成,在故障定位准确性和推理成本方面实现帕累托最优。
引用
@article{arxiv.2502.02908,
title = {COSMosFL: Ensemble of Small Language Models for Fault Localisation},
author = {Hyunjoon Cho and Sungmin Kang and Gabin An and Shin Yoo},
journal= {arXiv preprint arXiv:2502.02908},
year = {2025}
}
备注
LLM4Code 2025 Workshop