享受你的层归一化，同时具备RMSNorm的计算效率
机器学习
2026-05-15 v1
摘要
层归一化（LN）是现代深度学习中的基本组件，但其逐样本中心化和缩放引入了不可忽视的推理开销。RMSNorm通过移除中心化操作提高了效率，但这可能会丢弃与中心化相关的好处。本文提出了一个框架，用于确定任意DNN中的LN是否可以在不改变模型函数的情况下被RMSNorm替换。核心思想是通过列中心化约束（CCC）和基于列的权重中心化（CBWC）强制输出零均值，从而将LN的中心化操作折叠到上游的一般线性层中。我们将分析扩展到任意DNN，将此类LN定义为可折叠LN，并开发了一种基于图的检测算法。我们的分析表明，广泛使用的架构中的许多LN是可折叠的，实现了精确的推理时转换以及2%到12%的端到端加速，且不改变模型预测。在多个任务族上的实验进一步表明，当精确等价性在实际训练设置中被部分打破时，我们的方法在提高效率的同时仍与原始LN保持竞争力。
引用
@article{arxiv.2605.14521,
title = {Enjoy Your Layer Normalization with the Computational Efficiency of RMSNorm},
author = {Yuxin Guo and Yihao Yue and Yunhao Ni and Yizhou Ruan and Jie Luo and Wenjun Wu and Lei Huang},
journal= {arXiv preprint arXiv:2605.14521},
year = {2026}
}
备注
33 pages, 21 figures