随机神经网络生成函数的非线性点
机器学习
2023-04-20 v1 概率论
摘要
我们考虑从实数到实数、由具有 1 个隐藏激活层、任意宽度及 ReLU 激活函数的神经网络输出的函数。我们假设神经网络的参数依据各种概率分布均匀随机选取，并计算非线性点的期望分布。我们利用这些结果解释网络为何偏向输出具有更简单几何的函数，以及为何某些具有低信息论复杂度的函数仍难以被神经网络逼近。
引用
@article{arxiv.2304.09837,
title = {Points of non-linearity of functions generated by random neural networks},
author = {David Holmes},
journal= {arXiv preprint arXiv:2304.09837},
year = {2023}
}
备注
1 figure; comments very welcome