深度神经网络中卷积层不确定性的研究
机器学习
2020-11-30 v1 机器学习
摘要
本文展示了神经网络结构（即 LeNet）中卷积层连接权重的极小-极大（Min-Max）性质。具体而言，极小-极大性质是指在基于反向传播的 LeNet 训练过程中，卷积层的权重将远离其区间中心，即减小到最小值或增大到最大值。从不确定性视角，我们通过对卷积的简化表述证明，极小-极大性质对应于最小化模型参数的模糊性。实验证实具有极小-极大性质的模型具有更强的对抗鲁棒性，因此该性质可纳入损失函数设计中。本文指出了 LeNet 结构中卷积层不确定性的变化趋势，并为卷积的可解释性提供了一些见解。
引用
@article{arxiv.2011.13719,
title = {A Study on the Uncertainty of Convolutional Layers in Deep Neural Networks},
author = {Haojing Shen and Sihong Chen and Ran Wang},
journal= {arXiv preprint arXiv:2011.13719},
year = {2020}
}