ResNet 及其变体的前向稳定性

残差神经网络（ResNet）是一种流行的深度网络架构，能够在若干图像处理问题上取得高精度结果。为了分析 ResNet 的行为与结构，近期工作致力于建立 ResNet 与连续时间最优控制问题之间的联系。本工作中，我们表明后激活 ResNet 与带微分包含的最优控制问题相关，并给出了与 ResNet 相关的微分包含的连续时间稳定性结果。受稳定性条件启发，我们表明对架构或优化问题任一方面的改动均可生成 ResNet 的变体，从而改进理论稳定性界。此外，我们针对与两种 ResNet 变体相关的完整（离散）网络建立了稳定性界，特别是特征增长的上界以及特征对扰动的敏感性的度量。这些结果也有助于揭示特征空间的深度、正则化与稳定性之间的关系。对所提变体的计算实验表明，ResNet 的精度得以保持，且精度似乎随深度及各种损坏因素单调变化。