梯度掩码：侧抑制机制提升人工神经网络性能
计算机视觉与模式识别
2022-08-16 v1
摘要
侧抑制连接已在生物大脑皮层中被观察到，并就其认知功能中的作用得到了广泛研究。然而，在深度学习的原始反向传播版本中，所有梯度（可理解为包含信号梯度与噪声梯度）在权重更新时流经网络。这可能导致过拟合。受生物侧抑制启发，我们在本工作中提出梯度掩码（Gradient Mask），其在反向传播过程中有效滤除噪声梯度。这使得学到的特征信息更密集地存储于网络中，同时滤除噪声或不重要特征。此外，我们从解析角度论证了人工神经网络中的侧抑制如何提升传播梯度的质量。我们提出一种新的梯度质量准则，可用作各类卷积神经网络（CNN）训练过程中的度量。最后，我们进行了若干不同实验，从定量与定性两方面研究梯度掩码如何提升网络性能。在定量上，原始 CNN 架构的准确率、剪枝后的准确率以及对抗攻击后的准确率均显示提升。在定性上，使用梯度掩码训练的 CNN 生成的显著图主要聚焦于感兴趣目标，这有助于数据增强与网络可解释性。
引用
@article{arxiv.2208.06918,
title = {Gradient Mask: Lateral Inhibition Mechanism Improves Performance in Artificial Neural Networks},
author = {Lei Jiang and Yongqing Liu and Shihai Xiao and Yansong Chua},
journal= {arXiv preprint arXiv:2208.06918},
year = {2022}
}