基于实例解释检测概念漂移以实现软件缺陷可靠性预测
软件工程
2023-05-29 v1 机器学习
摘要
在即时软件缺陷预测（JIT-SDP）背景下，由于软件开发过程的变更、软件复杂度的增加或可能影响JIT-SDP模型随时间稳定性的用户行为变化，可能发生概念漂移（CD）。此外，若实施再平衡，JIT-SDP数据中的类不平衡问题会对CD检测方法的准确性构成潜在风险。据我们所知，该问题尚未被探讨。此外，已有方法通过考虑带标签评估数据来检验JIT-SDP模型随时间的稳定性。但需注意，未来数据标签未必总能及时获取。我们旨在利用CD点检测，通过识别无标签简化与重采样数据解释中的变化，直接开发可靠的JIT-SDP模型。为评估我们的方法，我们首先基于模型性能监控获得基线方法，以在带标签数据上识别CD点。随后，我们使用CD检测中著名的性能指标（如准确率、MDR、MTD、MTFA和MTR），基于阈值依赖与阈值独立准则，将所提方法的输出与基于性能监控的基线方法进行比较。我们还使用Friedman统计检验来评估方法的有效性。结果表明，应用于再平衡数据时，我们所提方法与基于阈值独立准则的基线方法兼容性更高；应用于简化数据时，与基于阈值依赖准则的基线方法兼容性更高。
引用
@article{arxiv.2305.16323,
title = {Detecting Concept Drift for the reliability prediction of Software Defects using Instance Interpretation},
author = {Zeynab Chitsazian and Saeed Sedighian Kashi and Amin Nikanjam},
journal= {arXiv preprint arXiv:2305.16323},
year = {2023}
}