重尾无限宽神经网络的 $\alpha$-稳定收敛
机器学习
2021-06-22 v1 机器学习
概率论
摘要
我们考虑无限宽多层感知机（MLPs），它们是标准深度前馈神经网络的极限。我们假设，对于每一层，MLP 的权重用来自轻尾（有限方差）或重尾分布的独立同分布样本初始化，该重尾分布位于对称 -稳定分布的吸引域中，其中 可依赖于层。对于该层的偏置项，我们假设用具有与该层相同 参数的对称 -稳定分布进行独立同分布初始化。然后我们推广了 Favaro、Fortini 和 Peluchetti（2020）近期的结果，表明在适当缩放下，给定隐藏层所有节点的预激活值向量在极限中收敛于一个由独立同分布对称 -稳定分布随机变量组成的向量。
引用
@article{arxiv.2106.11064,
title = {$\alpha$-Stable convergence of heavy-tailed infinitely-wide neural networks},
author = {Paul Jung and Hoil Lee and Jiho Lee and Hongseok Yang},
journal= {arXiv preprint arXiv:2106.11064},
year = {2021}
}