窥探神经网络推理过程：基于结构视觉概念的可解释性研究
计算机视觉与模式识别
2021-05-04 v1 人工智能
机器学习
摘要
尽管神经网络（NN）在广泛应用领域取得了实质性进展，它们仍很大程度上受制于缺乏透明性与可解释性。虽然可解释人工智能的近期发展试图弥合这一差距（例如，通过可视化输入像素与最终输出之间的关联），这些方法局限于解释底层关系，且关键地，不能提供关于纠错的认识。本工作中，我们提出一个框架（VRX）以直观的结构视觉概念来解释分类神经网络。给定训练好的分类模型，所提VRX提取相关的类特定视觉概念，并基于成对概念关系使用结构概念图（SCG）对其进行组织。借助知识蒸馏，我们展示VRX能朝模仿神经网络推理过程迈出一步，并为最终模型决策提供逻辑性的、概念层面的解释。通过大量实验，我们经验性地展示VRX能有意义地回答关于预测的“为什么”和“为什么不是”问题，提供关于推理过程易于理解的洞见。我们还展示这些洞见潜在地能为提升神经网络性能提供指导。
引用
@article{arxiv.2105.00290,
title = {A Peek Into the Reasoning of Neural Networks: Interpreting with Structural Visual Concepts},
author = {Yunhao Ge and Yao Xiao and Zhi Xu and Meng Zheng and Srikrishna Karanam and Terrence Chen and Laurent Itti and Ziyan Wu},
journal= {arXiv preprint arXiv:2105.00290},
year = {2021}
}
备注
CVPR 2021