关于等距梯度传播的理想分组数

近期，人们提出了多种归一化层来稳定深度神经网络的训练。其中，组归一化通过在使用分组数上引入自由度，推广了层归一化和实例归一化。然而，为了确定最佳分组数，需要基于试错的超参数调优，此类实验非常耗时。在本研究中，我们讨论了一种设置分组数的合理方法。首先，我们发现分组数会影响组归一化层的梯度行为。基于这一观察，我们推导出了理想的分组数，该校准梯度尺度以促进梯度下降优化。我们提出的分组数具有理论基础，且具备架构感知能力，能够以逐层方式为所有层提供合适的值。在众多神经网络架构、任务和数据集上，所提方法相比现有方法展现出更优的性能。