神经网络中的高斯预激活：神话还是现实？
机器学习
2025-04-30 v4 机器学习
摘要
神经网络初始化时特征传播的研究是众多初始化设计的根源。该领域一个非常常见的假设是预激活为高斯分布。尽管这种便利的高斯假设在每层神经元数量趋于无穷时可以得到证明，但对于有限宽神经网络，它与理论和实验工作均相矛盾。我们的主要贡献是构造了一系列激活函数与初始化分布的配对，确保预激活在整个网络深度上保持高斯分布，即使在窄神经网络中也是如此。在此过程中，我们发现了神经网络应满足以确保高斯预激活的一组约束。此外，我们对混沌边缘（Edge of Chaos）系列工作的主张进行了批判性回顾，并构建了精确的混沌边缘分析。我们还提出了关于预激活传播的统一视角，涵盖了若干知名初始化方法的框架。最后，我们的工作为回答备受争议的问题提供了原则性框架：初始化一个确保预激活为高斯分布的神经网络的训练是否可取？我们的代码已在 GitHub 上提供：https://github.com/p-wol/gaussian-preact/ 。
引用
@article{arxiv.2205.12379,
title = {Gaussian Pre-Activations in Neural Networks: Myth or Reality?},
author = {Pierre Wolinski and Julyan Arbel},
journal= {arXiv preprint arXiv:2205.12379},
year = {2025}
}
备注
Published version. OpenReview URL: https://openreview.net/forum?id=goe6fv6iSh