中文

寻找合适的XAI方法——气候科学中可解释AI方法评估与排序指南

机器学习 2024-03-25 v2 人工智能

摘要

可解释人工智能(XAI)方法揭示了机器学习算法预测的内在机理。已有多种不同方法存在并应用于气候科学。然而,通常缺失的真实解释使其评估与比较复杂化,进而妨碍XAI方法的选择。因此,在本工作中,我们引入气候背景下的XAI评估,并讨论不同的期望解释属性,即鲁棒性、忠实性、随机化、复杂性以及定位性。为此,我们选取先前一项预测年代际年均温度图的工作作为案例研究。在训练多层感知机(MLP)和卷积神经网络(CNN)后,应用多种XAI方法,并针对每个属性计算其相对于随机均匀解释的能力分数。与网络无关地,我们发现XAI方法Integrated Gradients、逐层相关性传播以及输入乘梯度表现出显著的鲁棒性、忠实性和复杂性,但牺牲了随机化性能。敏感性方法——梯度、SmoothGrad、NoiseGrad和FusionGrad,匹配鲁棒性能力但牺牲忠实性和复杂性以换取随机化能力。我们发现不同XAI方法在鲁棒性、复杂性和定位能力方面存在依赖于网络架构的性能差异,凸显了研究任务特定评估的必要性。总体而言,我们的工作提供了气候科学背景下不同评估属性的概览,并展示了如何比较和基准不同的解释方法,基于其优劣评估其对特定研究问题的适用性。借此,我们旨在支持气候研究者在合适XAI方法的选择。

关键词

引用

@article{arxiv.2303.00652,
  title  = {Finding the right XAI method -- A Guide for the Evaluation and Ranking of Explainable AI Methods in Climate Science},
  author = {Philine Bommer and Marlene Kretschmer and Anna Hedström and Dilyara Bareeva and Marina M. -C. Höhne},
  journal= {arXiv preprint arXiv:2303.00652},
  year   = {2024}
}

备注

19 pages, 10 figure, accepted at AIES journal by AMS