生成网络中的规模-噪声权衡
机器学习
2018-10-29 v1 机器学习
摘要
本文研究了生成网络将其输入噪声分布转换为其他分布的能力。首先，我们展示了一种构造，允许 ReLU 网络通过基于迭代帐篷映射实现“空间填充”函数来增加其噪声分布的维度。我们通过分析多元 ReLU 网络所计算函数的仿射片段数量，表明该构造是最优的。其次，我们提供了网络在单变量均匀分布和正态分布之间传递的高效方法（使用 polylog(1/ε) 个节点），采用泰勒级数近似和用于计算函数逆的二分搜索组件。最后，我们指出了如何将高维分布高效地转换为低维分布。
引用
@article{arxiv.1810.11158,
title = {Size-Noise Tradeoffs in Generative Networks},
author = {Bolton Bailey and Matus Telgarsky},
journal= {arXiv preprint arXiv:1810.11158},
year = {2018}
}