通过代表性替代理解单方向的重要性
计算机视觉与模式识别
2018-12-10 v2
摘要
理解深度神经网络(DNNs)的内部表示对于解释其行为至关重要。鉴于单个单元(多层感知机中的神经元或卷积网络中的卷积核)的基础作用,对其的解释已受到广泛关注。然而,近期研究(Morcos et al. 2018)提出了一个反直觉现象,表明具有较高类别选择性的单个单元(称为可解释单元)对DNNs的泛化贡献甚微。在本工作中,我们提供了一个新的视角来理解这一反直觉现象,当我们引入代表性替代(Representative Substitution, RS)时该现象便得以解释。RS并非指带有类别的单个选择性单元,而是指同一层中单元表示在无任何标注情况下的独立性。我们的实验表明,可解释单元具有高的RS,且对网络的泛化并不关键。RS为DNNs的解释提供了新见解,并提示我们需要关注表示的独立性与关系。
引用
@article{arxiv.1811.11053,
title = {Understanding the Importance of Single Directions via Representative Substitution},
author = {Li Chen and Hailun Ding and Qi Li and Zhuo Li and Jian Peng and Haifeng Li},
journal= {arXiv preprint arXiv:1811.11053},
year = {2018}
}
备注
4 pages, 6 figures