固定的神经元间协变性诱导对抗鲁棒性
机器学习
2023-08-09 v1 神经与进化计算
摘要
对对抗扰动的脆弱性是深度神经网络（DNNs）的一个主要缺陷，引发人们对其在真实场景中的可靠性的质疑。另一方面，本应被 DNN 模拟的人类感知对此类扰动高度鲁棒，表明人类感知可能存在某些使其鲁棒但当前 DNN 类未表征的特征。其中一个特征是生物神经元活动相关，且这种相关结构在长时间内相当刚性，即使其妨碍性能和学习。我们假设将此类约束整合到 DNN 激活中会提升其对抗鲁棒性，为验证该假设，我们开发了自一致激活（SCA）层，其由激活彼此一致（遵从固定但已学习的协变模式）的神经元组成。在图像和声音识别任务上评估时，带 SCA 层的模型取得了高准确率，且相较于多层感知机模型对最先进的 Auto-PGD 对抗攻击表现出显著更强的鲁棒性，\textit{而无需在对抗扰动数据上训练}。
引用
@article{arxiv.2308.03956,
title = {Fixed Inter-Neuron Covariability Induces Adversarial Robustness},
author = {Muhammad Ahmed Shah and Bhiksha Raj},
journal= {arXiv preprint arXiv:2308.03956},
year = {2023}
}