面向聚合类激活图可视化的全局类特征贡献分析
机器学习
2023-10-24 v1 人工智能
人机交互
摘要
深度学习(DL)模型在分类任务中取得了卓越的性能。然而,高复杂度的模型在许多风险敏感型应用中无法使用,除非提供可理解的说明。可解释人工智能(xAI)致力于研究如何解释DL等AI系统的决策过程。我们扩展了近期的一种类激活图(Class Activation Maps, CAMs)方法,该方法可视化了数据样本中每个特征对分类的贡献重要性。在本文中,我们聚合来自多个样本的CAMs,以展示针对语义结构化数据的分类的全局解释。该聚合使分析人员能够做出复杂的假设,并通过进一步的下钻可视化对其进行分析。我们针对全局CAM的视觉表示采用一个包含两种指示符的方形字形来展示每个特征的影响。方形的颜色指示该特征的分类影响。填充方形的大小描述了单个样本间影响的变异性。对于需要进一步分析的有趣特征,需要提供详细视图以给出这些值的分布。我们提出了一种交互式直方图来过滤样本并细化CAM,以仅显示相关样本。我们的方法使分析人员能够检测高维数据的重要特征,并基于我们的全局解释可视化推导出对AI模型的调整。
引用
@article{arxiv.2308.00710,
title = {Towards the Visualization of Aggregated Class Activation Maps to Analyse the Global Contribution of Class Features},
author = {Igor Cherepanov and David Sessler and Alex Ulmer and Hendrik Lücke-Tieke and Jörn Kohlhammer},
journal= {arXiv preprint arXiv:2308.00710},
year = {2023}
}
备注
submitted to xaiworldconference2023