基于离散粗糙路径的深度神经网络稳定性
机器学习
2023-02-22 v1 数值分析
经典分析与常微分方程
数值分析
摘要
利用粗糙路径技术,我们针对深度残差神经网络的输出给出了关于输入数据与(训练后)网络权重的先验估计。由于训练后的网络权重若视为层函数通常极为粗糙,我们提出针对任意 基于训练权重的全 -变分推导稳定性界。与神经 ODE 文献所依赖的 理论不同,即使权重表现为布朗运动这一极限情形(如 [arXiv:2105.12245] 所提示),我们的估计仍保持有界。在数学上,我们将残差神经网络解释为(粗糙)差分方程的解,并基于离散时间签名与粗糙路径理论的近期结果对其进行分析。
引用
@article{arxiv.2201.07566,
title = {Stability of Deep Neural Networks via discrete rough paths},
author = {Christian Bayer and Peter K. Friz and Nikolas Tapia},
journal= {arXiv preprint arXiv:2201.07566},
year = {2023}
}
备注
21 pages, 2 figures