利用 ReLU 网络逼近概率分布

Manuj Mukherjee; Aslan Tchamkerten; Mansoor Yousefi

利用 ReLU 网络逼近概率分布

机器学习 2021-01-26 v1 信息论 math.IT 机器学习

作者: Manuj Mukherjee , Aslan Tchamkerten , Mansoor Yousefi

摘要

在使用给定输入分布和逼近误差的神经网络逼近目标概率分布时，需要多少个神经元？本文针对输入分布为均匀分布、目标分布属于直方图分布类的情况研究了这一问题。我们获得了所需神经元数量的一个新的上界，该上界严格优于先前已有的上界。这一改进的关键要素是表示分段线性函数的神经网络的高效构造。我们还获得了逼近直方图分布所需的最小神经元数量的下界。

关键词

神经网络 ReLU 网络概率分布逼近直方图分布上界下界分段线性函数

引用

@article{arxiv.2101.09973,
  title  = {Approximating Probability Distributions by ReLU Networks},
  author = {Manuj Mukherjee and Aslan Tchamkerten and Mansoor Yousefi},
  journal= {arXiv preprint arXiv:2101.09973},
  year   = {2021}
}

备注

Longer version of a paper accepted for presentation at the ITW 2020

利用 ReLU 网络逼近概率分布

摘要

关键词

引用

备注

相关论文