ReLU'(0) 对反向传播的数值影响
机器学习
2023-11-06 v4 人工智能
摘要
理论上，神经网络中 ReLU(0) 在 [0, 1] 中的选择对反向传播和训练的影响可忽略不计。然而在现实世界中，32 位默认精度与深度学习问题规模相结合，使其成为训练方法的一个超参数。我们研究了 ReLU'(0) 的取值在多种精度级别（16、32、64 位）、各种网络（全连接、VGG、ResNet）和数据集（MNIST、CIFAR10、SVHN、ImageNet）上的重要性。我们观察到在 32 位精度下约一半时间会出现反向传播输出的显著变化。该效应在双精度下消失，而在 16 位下系统性出现。对于原始 SGD 训练，选择 ReLU'(0) = 0 似乎最为高效。我们在 ImageNet 上的实验显示，相较 ReLU'(0) = 1 测试准确率提升超过 10 个百分点（两次运行）。我们还证明，批归一化或 ADAM 等重条件化方法倾向于缓冲 ReLU'(0) 取值的影响。总体而言，我们传达的信息是：非光滑问题的算法微分潜在地隐藏了可被有利调优的参数。
引用
@article{arxiv.2106.12915,
title = {Numerical influence of ReLU'(0) on backpropagation},
author = {David Bertoin and Jérôme Bolte and Sébastien Gerchinovitz and Edouard Pauwels},
journal= {arXiv preprint arXiv:2106.12915},
year = {2023}
}