残差网络的随机训练：一种微分方程视角

在过去几年中，人工神经网络的随机训练受到显著关注，其作为一种有效的正则化方法，有助于提升训练模型的泛化能力。本工作中，我们应用修正方程方法表明，注入噪声的残差网络及其变体可视为随机微分方程的弱近似。此类观察使我们能够将随机训练过程与倒向 Kolmogorov 方程的最优控制联系起来。这不仅从损失景观视角对正则化效应提供了新颖理解，也为设计更可靠高效的随机训练策略带来启发。作为一个示例，我们提出一种在普通残差网络架构中利用 Bernoulli dropout 的新方式，并在真实世界图像分类任务上开展实验以证实我们的理论发现。