通过代表性替代理解单一方向的重要性
机器学习
2019-11-14 v1 人工智能
计算机视觉与模式识别
摘要
理解深度神经网络 (DNNs) 的内部表示对于解释其行为至关重要。鉴于单个单元的基础作用，对单个单元（即 MLP 中的神经元或卷积网络中的卷积核）的解释已受到诸多关注。然而，近期研究 (Morcos et al. 2018) 提出了一种反直觉现象，表明具有较高类别选择性的单个单元（称为可解释单元）对 DNNs 的泛化贡献甚微。在本工作中，我们提供一种新视角来理解这一反直觉现象，当我们引入代表性替代 (Representative Substitution, RS) 时它便合乎情理。RS 指的是同一层中单元表示的无标注独立性，而非针对类别的个别选择性单元。我们的实验表明，可解释单元具有较高 RS，而这些对网络泛化并不关键。RS 为 DNNs 的解释提供了新见解，并提示我们需要关注表示的独立性与关系。
引用
@article{arxiv.1911.05586,
title = {Understanding the Importance of Single Directions via Representative Substitution},
author = {Li Chen and Hailun Ding and Qi Li and Zhuo Li and Jian Peng and Haifeng Li},
journal= {arXiv preprint arXiv:1911.05586},
year = {2019}
}
备注
In AAAI-19 Workshop on Network Interpretability for Deep Learning. Published version of arXiv:1811.11053