通过层输出单位化界定深度神经网络内部协变量偏移的算法

批归一化（BN）技术已被提出，旨在通过尽量保持层输出分布不变来减少所谓的内部协变量偏移（ICS）。实验已显示其在训练深度神经网络上的有效性。然而，由于这些 BN 技术仅控制前二阶矩，似乎对层分布施加了弱约束，且此类约束能否减少 ICS 尚属未知。因此本文利用推土机（EM）距离提出一种 ICS 度量，并推导该度量的上下界，从而对 BN 提供理论分析。上界表明，BN 技术仅能对低维且小噪声的输出控制 ICS，而在其他情况下控制无效。本文还证明这种控制只是对 ICS 的界定而非减少。同时，分析显示 BN 无法控制的高阶矩和噪声对下界有重大影响。基于该分析，本文进一步提出一种以可调参数对输出进行单位化的算法，以进一步界定 ICS 从而应对 BN 的问题。所提单位化的上界无噪声且仅由该参数主导。因此，可训练该参数以调节界并进一步控制 ICS。此外，单位化被嵌入 BN 框架以减少信息损失。实验表明，该算法在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上优于现有 BN 技术。