基于 LIME 与 SHAP 研究缺陷与非缺陷问题自动预测的 explanations
软件工程
2022-09-19 v1 机器学习
摘要
背景：在问题跟踪系统中识别所报告问题里的缺陷，对问题分派至关重要。机器学习模型在自动问题类型预测的性能上已展现出有前景的结果。然而，除我们的假设外，关于此类模型如何识别缺陷我们仅有有限的认识。LIME 与 SHAP 是解释分类器预测的流行技术。目标：我们想理解机器学习模型提供的分类解释对人类而言是否合理，并与我们关于模型应学习内容的假设一致。我们也想知道预测质量是否与解释质量相关。方法：我们开展一项研究，基于问题类型预测模型输出解释的质量对 LIME 与 SHAP 解释进行评分。为此，我们对解释本身的质量评分，即它们是否与我们的预期一致，以及是否有助于我们理解底层机器学习模型。
引用
@article{arxiv.2209.07623,
title = {Studying the explanations for the automated prediction of bug and non-bug issues using LIME and SHAP},
author = {Benjamin Ledel and Steffen Herbold},
journal= {arXiv preprint arXiv:2209.07623},
year = {2022}
}
备注
This registered report received a In-Principal Acceptance (IPA) in the ESEM 2022 RR track