使用SHAP解释自编码器检测到的异常
机器学习
2020-07-02 v2 计算机科学与博弈论
机器学习
摘要
异常检测算法常被认为存在局限，因为它们不便于领域专家验证结果的过程。相反，用于异常检测的深学习算法，如自编码器，指出离群点，节省了专家检查正常案例以寻找异常这一耗时任务。大多数离群点检测算法为数据库中每个实例输出一个分数。最强烈的top-k个离群点返回给用户进一步审查；然而若无额外线索，手动验证结果变得具有挑战性。对实例为何异常的解释使专家能够将调查聚焦于最重要的异常，并可能增加其对算法的信任。最近，一个名为SHapley加性解释(SHAP)的基于博弈论的框架被证明能有效解释各种监督学习模型。本研究中，我们扩展SHAP以解释由自编码器这一无监督模型检测到的异常。所提方法提取并可视化既对异常贡献最大又抵消异常的特征。使用真实世界数据的初步实验研究展示了所提方法在协助领域专家理解异常并过滤无趣异常方面的有用性，旨在最小化检测异常的假阳性率。
引用
@article{arxiv.1903.02407,
title = {Explaining Anomalies Detected by Autoencoders Using SHAP},
author = {Liat Antwarg and Ronnie Mindlin Miller and Bracha Shapira and Lior Rokach},
journal= {arXiv preprint arXiv:1903.02407},
year = {2020}
}
备注
Added more evaluation