Go-UT-Bench:用于LLM生成Go语言单元测试的细调数据集
机器学习
2025-11-17 v1
摘要
训练数据不平衡是代码LLM面临的主要挑战。大多数可用数据严重过度代表原始开源代码,而在低资源语言(如Golang)中对更广泛的软件工程任务的代表则不足。结果是,模型在代码自动完成方面表现出色,但在实际开发者工作流程(如单元测试生成)方面却走弯路。为解决这一问题,我们引入GO UT Bench,这是一个包含5264对代码与单元测试的基准数据集,来自10个在宽松许可证下的Golang仓库,涵盖多样化的领域。我们评估了其作为细调数据集的有效性,测试两个LLM族(即专家混合模型和稠密解码器)。我们的结果表明,细调后的模型在超过75%的基准任务中均优于其基线模型。
引用
@article{arxiv.2511.10868,
title = {Go-UT-Bench: A Fine-Tuning Dataset for LLM-Based Unit Test Generation in Go},
author = {Yashshi Pipalani and Hritik Raj and Rajat Ghosh and Vaishnavi Bhargava and Debojyoti Dutta},
journal= {arXiv preprint arXiv:2511.10868},
year = {2025}
}
备注
9 pages, 5 figures