全局单射 ReLU 网络

单射在生成模型中起着重要作用，使其能够实现推断；在带有生成先验的逆问题与压缩感知中，它是适定性的前提。我们建立了全连接与卷积 ReLU 层及网络单射性的精确刻画。首先，通过逐层分析，我们构造适当的权重矩阵，证明扩张因子为二是单射的必要且充分条件。我们证明，使用独立同分布高斯矩阵（一种常用的可处理模型）的全局单射需要在 3.4 到 10.5 之间的更大扩张因子。我们还通过逆映射的最坏情况 Lipschitz 常数刻画了反演单射网络的稳定性。随后利用微分拓扑中的论证研究深度网络的单射性，并证明任意 Lipschitz 映射均可由单射 ReLU 网络逼近。最后，基于随机投影的论证，我们证明端到端而非逐层地将维度加倍即足以保证单射。我们的结果为使用神经网络研究非线性逆问题与推断问题建立了理论基础。