论类别选择性、维度与鲁棒性之间的关系
机器学习
2020-10-15 v2 机器学习
摘要
尽管深度神经网络(DNN)中稀疏表示与分布式表示之间的相对权衡已被充分研究,但关于这些权衡如何应用于语义有意义信息的表示却知之甚少。类别选择性,即单元响应在数据类别或维度间的变异性,是量化语义表示稀疏性的一种方式。鉴于近期有证据表明类别选择性会损害泛化能力,我们试图探究它是否也赋予了对输入数据扰动的鲁棒性(或脆弱性)。我们发现,平均类别选择性可以预测对自然性损坏的脆弱性;使用 Tiny ImageNetC 和 CIFAR10C 测量发现,经正则化以具有较低类别选择性水平的网络对损坏更具鲁棒性,而具有较高类别选择性的网络对损坏更脆弱。相反,我们发现类别选择性提高了对多种类型基于梯度的对抗攻击的鲁棒性。为了检验这种差异,我们研究了由扰动引起的表示变化的维度,发现降低类别选择性会增加两种损坏类型下这种变化的维度,但对抗攻击的增加幅度明显更大。这些结果证明了选择性与鲁棒性之间的因果关系,并为这种关系的机制提供了新的见解。
引用
@article{arxiv.2007.04440,
title = {On the relationship between class selectivity, dimensionality, and robustness},
author = {Matthew L. Leavitt and Ari S. Morcos},
journal= {arXiv preprint arXiv:2007.04440},
year = {2020}
}
备注
Presented at the ICML 2020 Workshop on Uncertainty and Robustness in Deep Learning