观念有形状吗？作为人工神经网络连续极限的观念配准

我们引入了 ResNet 的高斯过程（GP）推广（包含 ResNet 作为特例）。我们证明 ResNet（及其 GP 推广）在无限深度极限下收敛到图像配准变分算法的一种推广。计算解剖学通过物质空间的扭曲来对齐图像，而该推广则通过映射输入空间到输出空间的函数之 RKHS 的扭曲来对齐观念（或如柏拉图形式论中的抽象形状）。尽管 ResNet 的哈密顿量解释并不新鲜，但其基于一个假设。我们不依赖该假设，并给出了带有训练权重与偏置的 ResNet 收敛于哈密顿动力学驱动流的首个严格证明。我们的构造性证明揭示了 ResNet 及其 GP 推广的若干显著性质。ResNet 回归器是具有数据依赖扭曲核的核回归器。最小化 $L_2$ 正则化 ResNet 满足离散最小作用量原理，意味着跨层权重与偏置范数近乎保持。带 $L^2$ 正则化的 ResNet 训练权重可通过求解自治哈密顿系统来辨识。训练得到的 ResNet 参数除初始动量外唯一，而初始动量的表示通常是稀疏的。核正则化策略为 ANN 提供了一种可证明鲁棒的 Dropout 替代方案。我们引入了 GP 的函数推广，从而得到 ResNet 的误差估计。我们辨识了训练 ResNet 参数的（EPDiff）平均场极限。我们证明扭曲回归块与约化等变多通道核（此处引入）的复合将 CNN 推广并恢复到任意空间与变换群。