用于解释深度神经网络的交互式命名:一项形成性研究
机器学习
2018-12-21 v2 计算机视觉与模式识别
机器学习
摘要
我们考虑用人类可识别的视觉概念来解释深度神经网络在图像识别中决策的问题。具体而言,给定一组测试图像,我们旨在用少量图像区域(或激活图)来解释每个分类,这些区域已由人类标注者与语义概念相关联。这可用于生成分类典型原因的概要视图,有助于建立对分类器的信任和/或识别分类器可能不可信的样例类型。为此,我们开发了一个用于“交互式命名”的用户界面,它允许人类标注者将测试集中显著的激活图手动聚类为称为“视觉概念”的有意义组。本文的主要贡献是对五位人类标注者使用交互式命名界面所产生的视觉概念进行的系统性研究。特别地,我们考察了这些概念对解释测试集图像分类的适当性、概念与单个神经元激活的对应关系,以及标注者之间对视觉概念的认同度。我们发现很大一部分激活图具有可识别的视觉概念,并且不同标注者对其指称有显著的一致性。我们的工作是探讨机器学习与人类识别之间通过学习结果可视化进行中介的相互作用的探索性研究。
引用
@article{arxiv.1812.07150,
title = {Interactive Naming for Explaining Deep Neural Networks: A Formative Study},
author = {Mandana Hamidi-Haines and Zhongang Qi and Alan Fern and Fuxin Li and Prasad Tadepalli},
journal= {arXiv preprint arXiv:1812.07150},
year = {2018}
}