基于 BERT 风格模型的 JIT 缺陷预测实证研究
软件工程
2024-03-19 v1
摘要
以往关于即时（JIT）缺陷预测任务的研究主要直接应用预训练模型，忽略了其微调过程的配置。在本研究中，我们进行了一项系统的实证研究，以了解微调过程设置对用于 JIT 缺陷预测的 BERT 风格预训练模型的影响。具体而言，我们探讨了不同的参数冻结设置、参数初始化设置和优化器策略对 BERT 风格模型在 JIT 缺陷预测中性能的影响。我们的发现揭示了 BERT 风格模型中第一个编码器层的关键作用，以及该项目对参数初始化设置的敏感性。另一个值得注意的发现是，在 Adam 优化器中加入权重衰减策略可以略微提升模型性能。此外，我们比较了使用不同特征提取器（FCN、CNN、LSTM、transformer）的性能，发现一个简单的网络就能取得出色的性能。这些结果为 JIT 缺陷预测微调预训练模型提供了新的见解。我们结合这些发现，找到了一种基于 LoRA 的低成本微调方法，该方法在仅消耗原始微调过程三分之一内存的情况下即可实现可比的性能。
引用
@article{arxiv.2403.11158,
title = {An Empirical Study on JIT Defect Prediction Based on BERT-style Model},
author = {Yuxiang Guo and Xiaopeng Gao and Bo Jiang},
journal= {arXiv preprint arXiv:2403.11158},
year = {2024}
}