面向归一化的仿射发散：激活更新的对齐

在梯度下降中，数学理想与实际激活更新之间存在系统性偏差。按照设计，参数沿最陡下降方向更新。然而，激活被认为更直接地影响损失，在计算图中携带样本相关信息，通过网络的传播更新并不采取最优的陡降步骤。这些量在仿射、卷积和注意力层中表现出非理想的样本级比例缩放。纠正此问题的解决方案是平凡的，且恰好从原理出发推导了归一化，尽管其动机独立。因此，这些考虑为归一化的作用提供了新的概念框架，辅以实验加强了这种机制解释。此外，此分析清晰地表明，第二种可能性是一种在功能上不同于现代归一化、且不具尺度不变性，却仍然实证成功的解决方案——对仿射图的另一种替代方案。这在多个测试中超越了传统归一化器。在卷积上推广，通过一种新的函数形式实现，“PatchNorm”，一种不可分割的归一化器。这些提供了一种既添加又抵消部分讨论的替代机制框架。进一步地，归一化器更好地分解为带参数缩放的类似激活函数的图。总体而言，这构成了一个在理论原则性、实证验证和提出关于仿射+非线性方法的问题方面都具备原则性的新方法。