通过类选择性与维度关联平均情形与最坏情形扰动鲁棒性
机器学习
2021-03-31 v2 人工智能
计算机视觉与模式识别
神经与进化计算
机器学习
摘要
表征稀疏性已知会影响深度神经网络(DNNs)对输入扰动的鲁棒性,但关于表征的语义内容如何影响鲁棒性的研究较少。类选择性——即一个单元跨数据类别或维度的响应变异性——是量化语义表征稀疏性的一种方式。鉴于近期证据表明类选择性可能并非泛化所必需,且在某些情况下会损害泛化,我们研究它是否也会赋予输入数据扰动以鲁棒性(或脆弱性)。我们发现,被正则化至较低类选择性水平的网络对平均情形(自然主义)扰动更为鲁棒,而具有较高类选择性的网络则更为脆弱。相反,类选择性增强了对多种最坏情形(即白盒对抗)扰动的鲁棒性,这表明降低类选择性虽有助于平均情形扰动,却有害于最坏情形扰动。为解释这一差异,我们研究了网络表征的维度:我们发现浅层表征的维度与网络的类选择性成反比,且对抗样本比 corrupted 样本引起更大幅度的浅层维度增加。此外,与低选择性网络相比,高选择性网络中输入单元梯度在样本与单元间更具变异性。这些结果得出如下结论:在低选择性机制下单元参与比高选择性机制下更为一致,从而有效地制造了更大的攻击面,进而易遭最坏情形扰动。
引用
@article{arxiv.2010.07693,
title = {Linking average- and worst-case perturbation robustness via class selectivity and dimensionality},
author = {Matthew L. Leavitt and Ari Morcos},
journal= {arXiv preprint arXiv:2010.07693},
year = {2021}
}
备注
arXiv admin note: text overlap with arXiv:2007.04440