仅需一层 Layer Norm 即可保证稳定的外推
机器学习
2025-10-17 v2 机器学习
摘要
尽管神经网络被广泛使用，但其在远离训练分布时进行外推的行为仍知之甚少，现有结果仅限于特定情况。在这项工作中，我们通过应用 Neural Tangent Kernel (NTK) 理论来分析训练直至收敛的无限宽神经网络，并证明了仅包含一层 Layer Norm (LN) 就会从根本上改变所诱导的 NTK，将其转化为有界方差核，从而证明了具有一般性的结果——这也是该领域的首类结果。因此，具有至少一层 LN 的无限宽网络的输出保持有界，即使在远离训练数据的输入上也是如此。相比之下，我们表明，没有 LN 的一大类网络对于某些输入会产生病态的大输出。我们通过对有限宽网络的实证实验支持了这些理论发现，证明虽然标准 NN 在训练域外经常表现出不受控的增长，但单层 LN 能有效缓解这种不稳定性。最后，我们探索了这种外推稳定性的现实意义，包括应用于预测大于训练中所见蛋白质的残基大小，以及从训练集中缺失的代表性不足民族的面部图像中估计年龄。
引用
@article{arxiv.2505.14512,
title = {Just One Layer Norm Guarantees Stable Extrapolation},
author = {Juliusz Ziomek and George Whittle and Michael A. Osborne},
journal= {arXiv preprint arXiv:2505.14512},
year = {2025}
}