抵御基于扰动的XAI中的分布外数据问题
人工智能
2021-07-30 v1
摘要
随着可解释人工智能(eXplainable Artificial Intelligence, XAI)的快速发展,基于扰动的XAI算法因其有效性和易于实现而变得相当流行。绝大多数基于扰动的XAI技术面临着分布外(Out-of-Distribution, OoD)数据的挑战——随机扰动数据与原数据集不一致所产生的伪影。OoD数据导致模型预测中的过度自信问题,使得现有XAI方法不可靠。据我们所知,基于扰动的XAI算法中的OoD数据问题在文献中尚未得到充分解决。在这项工作中,我们通过设计一个额外的模块来量化扰动数据与原数据集分布之间的亲和度,从而解决这一OoD数据问题,该模块被集成到聚合过程中。我们的解决方案被证明与最流行的基于扰动的XAI算法兼容,例如RISE、OCCLUSION和LIME。实验已证实,我们的方法在使用计算指标和认知指标的一般情况下均表现出显著改进。特别是在退化情况下,我们提出的方法相比基线展现出优异的性能。此外,我们的解决方案还解决了忠实度指标的一个基本问题,该指标是XAI算法常用的评估指标,似乎对OoD问题敏感。
引用
@article{arxiv.2107.14000,
title = {Resisting Out-of-Distribution Data Problem in Perturbation of XAI},
author = {Luyu Qiu and Yi Yang and Caleb Chen Cao and Jing Liu and Yueyuan Zheng and Hilary Hei Ting Ngai and Janet Hsiao and Lei Chen},
journal= {arXiv preprint arXiv:2107.14000},
year = {2021}
}