带 ReLU 激活函数的高斯神经网络大偏差原理
机器学习
2026-02-10 v3 机器学习
概率论
摘要
我们证明了具有高斯权重且激活函数最多线性增长（如 ReLU）的深度神经网络的大偏差原理。这扩展了此前仅考虑有界连续激活函数的工作。在实际中，ReLU 等线性增长激活函数最为常见。我们进一步简化了先前的速函数表达式，并为 ReLU 情况提供幂级数展开。
引用
@article{arxiv.2405.16958,
title = {Large Deviations of Gaussian Neural Networks with ReLU activation},
author = {Quirin Vogel},
journal= {arXiv preprint arXiv:2405.16958},
year = {2026}
}
备注
typo corrected from a previous version