无限深神经网络的传输分析

我们通过跟踪传输映射研究了深度神经网络（DNNs）内部的特征映射。我们感兴趣于深度的作用（为何 DNN 优于浅层模型？）以及 DNN 的解释（中间层做什么？）。尽管其应用快速发展，DNN 仍缺乏解析解释，因为隐藏层是嵌套的且参数不忠实。受浅层 NN 的积分表示（即宽度或隐藏单元数的连续极限）启发，我们发展了 DNN 的流表示和传输分析。流表示是深度或隐藏层数的连续极限，由带向量场的常微分方程指定。我们将普通 DNN 解释为传输映射或流的欧拉折线近似。从技术上讲，动力系统是嵌套特征映射的自然模型。此外，它通过避免 DNN 的冗余参数化，为 DNN 的无坐标处理开辟了新途径。遵循 Wasserstein 几何，我们从三个方面分析流：动力系统、连续性方程和 Wasserstein 梯度流。一个关键发现是我们指定了去噪自编码器（DAE）的一系列传输映射。从浅层 DAE 出发，本文发展了三个主题：深层 DAE 的传输映射、堆叠 DAE 与 DAE 组合的等价性，以及双连续极限或流表示的积分表示的发展。作为对研究问题的部分回答，我们发现更深的 DAE 收敛更快且提取的特征更好；此外，深层高斯 DAE 传输质量以降低数据分布的 Shannon 熵。