通过深度神经网络生成高维分布
机器学习
2022-08-30 v3
摘要
我们证明，每一个具有有界支撑的维概率分布，都可通过深度ReLU网络由一维均匀输入分布生成。更重要的是，相对于由个独立随机变量生成该维目标分布，此举不会在以Wasserstein距离衡量的近似误差上产生额外代价。这得益于对（Bailey & Telgarsky, 2018）中所发现空间填充方法的极大推广。我们提出的构造揭示了网络深度在将目标分布与其神经网络近似之间的Wasserstein距离驱至零过程中的重要性。最后，我们发现，对于直方图目标分布，编码相应生成网络所需的比特数等于由量化理论所确定的概率分布编码基本极限。
引用
@article{arxiv.2107.12466,
title = {High-Dimensional Distribution Generation Through Deep Neural Networks},
author = {Dmytro Perekrestenko and Léandre Eberhard and Helmut Bölcskei},
journal= {arXiv preprint arXiv:2107.12466},
year = {2022}
}
备注
v3 Figures 2 and 6 were changed to provide more illustrative examples. Published in Partial Differential Equations and Applications, Springer, Sept. 2021