神经签名核作为受控 ResNet 的无限宽度-深度极限
动力系统
2023-06-06 v2 机器学习
概率论
摘要
受储层计算范式的启发，我们考虑随机初始化的受控 ResNet，其定义为神经受控微分方程（Neural CDE）的欧拉离散化，这是一种统一了 RNN 与 ResNet 的架构。我们证明，在无限宽度-深度极限下并经过适当缩放，这些架构弱收敛于定义在某些连续路径空间上、核满足依激活函数选择而变化的某些偏微分方程（PDE）的高斯过程，从而将 Hayou (2022)、Hayou & Yang (2023) 的结果推广到受控且齐次的情形。在激活函数为恒等映射的齐次特殊情形下，我们证明该方程退化为线性 PDE，且极限核与 Salvi 等人 (2021a) 的签名核一致。我们将这一新的极限核族命名为神经签名核。最后，我们证明在无限深度机制下，有限宽度受控 ResNet 依分布收敛于具有随机向量场的 Neural CDE，这些向量场根据权重是否跨层共享，要么是时间无关的高斯场，要么表现为矩阵值布朗运动。
引用
@article{arxiv.2303.17671,
title = {Neural signature kernels as infinite-width-depth-limits of controlled ResNets},
author = {Nicola Muca Cirone and Maud Lemercier and Cristopher Salvi},
journal= {arXiv preprint arXiv:2303.17671},
year = {2023}
}
备注
Added commutativity of limits, ICML 2023 final version