特征重要性方法对缺陷分类器解释的影响
机器学习
2022-02-08 v1 人工智能
软件工程
摘要
分类器特定（CS）和分类器无关（CA）特征重要性方法被先前的研究广泛使用（常可互换），以从缺陷分类器中导出特征重要性排序。然而，不同的特征重要性方法即使对于相同的数据集和分类器也可能计算出不同的特征重要性排序。因此，除非不同方法之间具有强一致性，否则这种特征重要性方法的可互换使用会导致结论的不稳定性。因此，在本文中，我们通过一个包含 18 个软件项目和六种常用分类器的案例研究，评估了所研究分类器相关的特征重要性排序之间的一致性。我们发现：1）CA 和 CS 方法计算的特征重要性排序并非总是一致性强；2）所研究的 CA 方法计算的特征重要性排序表现出强一致性，包括给定数据集和分类器下排名前 1 和前 3 的特征，而即使是常用的 CS 方法也产生差异很大的特征重要性排序。这些发现引发了对复制研究中结论稳定性的担忧。我们进一步观察到，常用的缺陷数据集中充斥着特征交互，并且这些特征交互影响了 CS 方法（而非 CA 方法）计算的特征重要性排序。我们证明，即使使用像 CFS 这样的简单方法去除这些特征交互，也能改善 CA 和 CS 方法计算的特征重要性排序之间的一致性。鉴于我们的发现，我们为利益相关者和从业者在执行模型解释时提供了指导，并指出了未来研究方向，例如，需要未来研究调查高级特征交互去除方法对不同 CS 方法计算的特征重要性排序的影响。
引用
@article{arxiv.2202.02389,
title = {The impact of feature importance methods on the interpretation of defect classifiers},
author = {Gopi Krishnan Rajbahadur and Shaowei Wang and Yasutaka Kamei and Ahmed E. Hassan},
journal= {arXiv preprint arXiv:2202.02389},
year = {2022}
}