中文

基于离散粗糙路径的深度神经网络稳定性

机器学习 2023-02-22 v1 数值分析 经典分析与常微分方程 数值分析

摘要

利用粗糙路径技术,我们针对深度残差神经网络的输出给出了关于输入数据与(训练后)网络权重的先验估计。由于训练后的网络权重若视为层函数通常极为粗糙,我们提出针对任意 p[1,3]p\in[1,3] 基于训练权重的全 pp-变分推导稳定性界。与神经 ODE 文献所依赖的 C1C^1 理论不同,即使权重表现为布朗运动这一极限情形(如 [arXiv:2105.12245] 所提示),我们的估计仍保持有界。在数学上,我们将残差神经网络解释为(粗糙)差分方程的解,并基于离散时间签名与粗糙路径理论的近期结果对其进行分析。

关键词

引用

@article{arxiv.2201.07566,
  title  = {Stability of Deep Neural Networks via discrete rough paths},
  author = {Christian Bayer and Peter K. Friz and Nikolas Tapia},
  journal= {arXiv preprint arXiv:2201.07566},
  year   = {2023}
}

备注

21 pages, 2 figures