通过模型规范化与超参数搜索优化解释方法
计算机视觉与模式识别
2023-03-28 v2 人工智能
机器学习
摘要
可解释人工智能(XAI)正缓慢成为众多 AI 应用的关键组成部分。然而,基于规则和修改反向传播的 XAI 方法在应用于包含创新性层构建块的现代模型架构时常常面临挑战,这由两方面原因造成。首先,基于规则的 XAI 方法的高度灵活性导致大量潜在的参数化方案。其次,许多 XAI 方法因难以处理某些模型组件(如 BatchNorm 层)而违背实现不变性公理。后者可通过模型规范化解决,即重构模型以忽略有问题的组件而不改变底层函数。虽然对于简单架构(如 VGG、ResNet)模型规范化十分直接,但对于更复杂且高度互联的模型(如 DenseNet)则颇具挑战。此外,关于模型规范化有益于 XAI 的可量化证据甚少。本工作中,我们提出适用于当前相关模型块并可应用于流行深度神经网络架构(包括 VGG、ResNet、EfficientNet、DenseNets 以及 Relation Networks)的规范化方法。我们进一步提出一个 XAI 评估框架,借此量化并比较在 Pascal-VOC 与 ILSVRC2017 数据集上的图像分类任务中,以及使用 CLEVR-XAI 的视觉问答任务中,模型规范化对各种 XAI 方法的影响。此外,针对上文所述前一个问题,我们展示了如何将评估框架应用于对 XAI 方法进行超参数搜索以优化解释质量。
引用
@article{arxiv.2211.17174,
title = {Optimizing Explanations by Network Canonization and Hyperparameter Search},
author = {Frederik Pahde and Galip Ümit Yolcu and Alexander Binder and Wojciech Samek and Sebastian Lapuschkin},
journal= {arXiv preprint arXiv:2211.17174},
year = {2023}
}