并行层归一化与通用逼近
机器学习
2026-02-10 v2 机器学习
摘要
本文研究将层归一化（LN）与线性层组合的神经网络的逼近能力。我们证明，由两层线性层构成的网络，其中在它们之间插入平行层归一化（PLN），所谓的 PLN 网络实现了通用逼近，而仅使用标准 LN 的体系结构则表现出严格受限的表达能力。我们进一步分析了在 范数以及索伯维亚范数下浅层和深层 PLN 网络的逼近率。我们的分析超越了 LN 至 RMSNorm，并从标准 MLP 拓展至位置感知前馈网络，这些是 RNN 和 Transformer 中常用的核心构建模块。最后，我们提供了实验结果来探索 PLN 网络的其他潜在能力。
引用
@article{arxiv.2505.13142,
title = {Parallel Layer Normalization for Universal Approximation},
author = {Yunhao Ni and Yuxin Guo and Yuhe Liu and Wenxin Sun and Jie Luo and Wenjun Wu and Lei Huang},
journal= {arXiv preprint arXiv:2505.13142},
year = {2026}
}
备注
45 pages