正齐次神经网络中的尺度冗余与软规范化

具有正齐次激活函数的神经网络具有精确的连续置换对称性：神经元级的尺度重缩会生成参数空间中的轨道，而输入-输出函数在该轨道上保持不变。我们将这种对称性解释为规范化冗余，并引入规范化适配坐标，将其划分为不变方向和尺度不平衡方向。灵感来自场论中的规范化固定，我们引入一种仅作用于冗余尺度坐标的软轨道选择(范数平衡)函数。我们证明，该函数可引起不平衡模式的耗散性松弛，以保持实现的函数。通过受控实验，本研究表明，该轨道选择惩罚可扩大稳定学习率范围，抑制尺度漂移，而不改变表达能力。这些结果在结构上将规范化轨道几何与优化条件联系起来，为规范化理论概念与机器学习之间的具体联系提供了可能。