层归一化与动态激活函数的数学关系探析

层归一化（Layer Normalization, LN）是现代神经网络的关键组件。尽管已提出许多替代技术，但迄今为止没有任何技术成功取代 LN。最新的研究方向是一种称为动态 tanh 函数（Dynamic Tanh, DyT）的动态激活函数。虽然 DyT 在实践中具有很好的动机且具有吸引力，但缺乏理论基础。在本工作中，我们阐明了 LN 与动态激活函数之间的数学关系。特别是，我们从 LN 变体 RMSNorm 推导出 DyT，并指出需要在导数空间中进行良定义的解耦以及近似处理才能实现。我们通过直接在函数空间中应用相同的解耦程序，省略近似步骤，获得 RMSNorm 的精确元素级对应函数，我们将其称为 Dynamic Inverse Square Root Unit（DyISRU）。我们通过数值实验表明，DyISRU 对异常值的归一化效果比 DyT 更为准确。