归一化层在神经网络中的隐性力量：指数级容量控制
机器学习
2026-02-24 v2 人工智能
机器学习
摘要
归一化层是现代AI系统（如ChatGPT、Gemini、DeepSeek等）的关键组件。经验上已知其能稳定训练动态并提升泛化能力，但归一化层如何贡献于优化与泛化的底层机制尚未充分阐明，尤其是当在深层神经网络中大量使用归一化层时。本文构建了揭示归一化作用的理论框架，阐释其通过容量控制实现的作用。我们证明，未经归一化的深度神经网络相对于参数或输入可呈指数级Lipschitz常数，从而导致功能容量过大并引发过拟合。此类差异化网络是不可数多个。相反，归一化层的插入可以指数级减少Lipschitz常数。这种指数级减少产生两个根本性后果：（1）以指数速率平滑损失景观，促进更快更稳定的优化；（2）约束网络有效容量，从而提升对未见数据的泛化保证。我们的研究为归一化方法在深度学习中的实证成功提供了原则性解释。
关键词
引用
@article{arxiv.2511.00958,
title = {The Hidden Power of Normalization Layers in Neural Networks: Exponential Capacity Control},
author = {Khoat Than},
journal= {arXiv preprint arXiv:2511.00958},
year = {2026}
}