高维深度网络中的推断

深度生成网络为广泛的应用中对复杂数据建模提供了强大工具。在将这些网络用作数据的生成先验的逆问题中，通常需要从输出推断网络的输入。在这些生成模型上进行随机训练时，采样也需要推断。本文考虑在深度随机神经网络中进行推断，其中参数（如权重、偏置和激活函数）已知，问题是从输出估计输入和隐藏单元的值。虽然已有多种近似算法被提出用于此任务，但很少有分析工具能为重建误差提供严格的保证。本工作提出了一种新颖且计算上易于处理的输出到输入推断方法，称为多层向量近似消息传递（ML-VAMP）。该算法源自期望传播，扩展了早期已知在简单线性逆问题中能达到副本预测最优性的 AMP 方法。我们的主要贡献表明，在层数固定且权重矩阵为随机且正交不变、维数趋于无穷的特定大系统极限（LSL）下，ML-VAMP 的均方误差（MSE）可以被精确预测。因此，ML-VAMP 是一种用于深度网络输出到输入推断的原则性方法，在高维情况下具有严格且精确的性能可实现性结果。