深度神经网络中的权重与梯度中心化
计算机视觉与模式识别
2021-01-19 v3 机器学习
图像与视频处理
摘要
批归一化目前是深度神经网络中使用最广泛的内部归一化变体。其他工作表明，权重的归一化与额外条件处理以及梯度的归一化进一步改善了泛化能力。在本工作中，我们结合了其中几种方法，从而提升了网络的泛化能力。相较于批归一化，这些较新方法的优势不仅在于泛化能力的提升，还在于它们仅需在训练期间应用，因此不影响使用时的运行时间。CUDA 代码链接 https://atreus.informatik.uni-tuebingen.de/seafile/d/8e2ab8c3fdd444e1a135/
引用
@article{arxiv.2010.00866,
title = {Weight and Gradient Centralization in Deep Neural Networks},
author = {Wolfgang Fuhl and Enkelejda Kasneci},
journal= {arXiv preprint arXiv:2010.00866},
year = {2021}
}