N 重叠加：通过降低特征图噪声改进神经网络
机器学习
2019-01-08 v3 机器学习
摘要
考虑到全连接（Fully Connected, FC）层的使用限制了卷积神经网络（Convolutional Neural Networks, CNNs）的性能，本文提出一种通过降低特征图（Feature Maps, FMs）中的噪声来改进卷积层与 FC 层之间耦合的方法。我们的方法分为三步。首先，我们将所有 FMs 均等分成 n 个块。然后，所有块中相同位置 FMs 的加权和构成一个新的 FMs 块。最后，我们将这一新块复制为 n 份并拼接作为 FC 层的输入。这种 FMs 的共享可显著降低其中的噪声，并避免特定 FM 对隐藏层特定部分权重的冲击，从而在一定程度上防止网络过拟合。利用费马引理（Fermat Lemma），我们证明该方法可使损失函数的全局极小值取值范围更宽，从而使神经网络更容易收敛并加速收敛过程。该方法未显著增加网络参数量（仅增加少许系数），实验表明其能提高收敛速度并改善神经网络的分类性能。
引用
@article{arxiv.1804.08233,
title = {N-fold Superposition: Improving Neural Networks by Reducing the Noise in Feature Maps},
author = {Yang Liu and Qiang Qu and Chao Gao},
journal= {arXiv preprint arXiv:1804.08233},
year = {2019}
}
备注
7 pages, 5 figures, submitted to ICALIP 2018