神经网络收敛到高斯混合分布
机器学习
2022-04-27 v1 人工智能
机器学习
概率论
摘要
我们给出证明：在相对温和的条件下，当仅最后隐藏层的宽度趋于无穷时，全连接前馈深度随机神经网络收敛到高斯混合分布。我们针对一个简单模型进行了实验，支持了我们的结果。此外，它给出了收敛的详细描述，即最后隐藏层的增长使分布更接近高斯混合，而其他层依次使高斯混合更接近正态分布。
引用
@article{arxiv.2204.12100,
title = {Convergence of neural networks to Gaussian mixture distribution},
author = {Yasuhiko Asao and Ryotaro Sakamoto and Shiro Takagi},
journal= {arXiv preprint arXiv:2204.12100},
year = {2022}
}
备注
14 pages + supplemental materials