线性约束权重：减少激活偏移以加速神经网络训练
神经与进化计算
2024-03-22 v1 机器学习
机器学习
摘要
在本文中，我们首先识别了激活偏移这一简单但显著的现象，即神经网络中神经元的预激活值具有非零均值，该均值取决于该神经元的权重向量与前一层激活向量均值之间的角度。随后，我们提出了线性约束权重（LCW），以减少全连接层和卷积层中的激活偏移。我们从网络中变量的方差如何通过前向和后向链中的层操作而变化的角度，研究了减少神经网络中激活偏移的影响。我们还讨论了它与梯度消失问题的关系。实验结果表明，LCW 通过解决梯度消失问题，使得具有 sigmoid 激活函数的深度前馈网络能够高效训练。此外，结合批归一化，LCW 提高了前馈网络和卷积网络的泛化性能。
引用
@article{arxiv.2403.13833,
title = {Linearly Constrained Weights: Reducing Activation Shift for Faster Training of Neural Networks},
author = {Takuro Kutsuna},
journal= {arXiv preprint arXiv:2403.13833},
year = {2024}
}
备注
19 pages