面向可解释人工智能:识别敏感与决定性模式的研究——基于几何深度学习的案例研究
机器学习
2024-07-02 v1
摘要
机器学习模型的可解释性在近年来受到越来越多的关注,尤其是在对精度和问责制要求极高的科学领域。本研究聚焦于区分两种关键数据模式——敏感模式 (与模型相关) 和决定性模式 (与任务相关)——这两种模式常被用作模型解释,但经常导致混淆。具体而言,本研究比较了两种主要类型的解释方法:后处理方法和自可解释方法,在检测这些模式方面的有效性。近年来,几何深度学习 (GDL) 在 various scientific applications 中显示出优越的预测性能,为原司法解释方法的需求提供了紧迫性。因此,我们使用几个代表性 GDL 应用作为案例研究。我们评估了 thirteen 种解释方法应用于 three 主要 GDL backbone 模型的效果,使用 four 个 scientific 数据集来评估这些方法在识别敏感模式和决定性模式方面的表现。我们的发现表明,后处理方法倾向于提供更符合敏感模式的解释,而某些自可解释方法在识别决定性模式方面表现出强大且稳定的性能。此外,我们本研究为改进这些解释方法的可靠性提供了有价值的见解。例如,对多个在同一任务上训练的模型进行后处理解释集成,可有效地揭示任务的决定性模式。
引用
@article{arxiv.2407.00849,
title = {Towards Understanding Sensitive and Decisive Patterns in Explainable AI: A Case Study of Model Interpretation in Geometric Deep Learning},
author = {Jiajun Zhu and Siqi Miao and Rex Ying and Pan Li},
journal= {arXiv preprint arXiv:2407.00849},
year = {2024}
}