ZNorm: 加速无结构修改的跳连网络训练的 Z 得分梯度归一化
机器学习
2024-12-10 v6
摘要
深度学习的快速发展 necessitates 更好的深度神经网络训练方法。随着模型复杂度的增加，梯度消失和梯度爆炸阻碍了性能，尤其是在像深度残差网络这样的跳连架构中。我们提出了用于梯度下降的 Z 得分归一化 (ZNorm)，这是一种创新的技术，通过仅调整梯度而无需修改网络结构来加速训练并提高模型性能。ZNorm 对整体梯度进行归一化，提供跨层一致的梯度缩放，有效降低梯度消失和梯度爆炸的风险，并实现卓越的性能。在 CIFAR-10 和医学数据集上的大量实验表明，ZNorm 在相同的实验设置下始终优于现有方法。在医学影像应用中，ZNorm 显著提高了肿瘤预测和分割精度，凸显了其实际效用。这些发现突显了 ZNorm 作为一种稳健且多功能的工具，用于增强深度神经网络，尤其是跳连架构在各种应用中的训练和效果的潜力。
引用
@article{arxiv.2408.01215,
title = {ZNorm: Z-Score Gradient Normalization Accelerating Skip-Connected Network Training without Architectural Modification},
author = {Juyoung Yun},
journal= {arXiv preprint arXiv:2408.01215},
year = {2024}
}