大规模输入数据下残差神经网络的连续极限
偏微分方程分析
2022-05-11 v2 数值分析
数值分析
最优化与控制
摘要
残差深度神经网络（ResNets）在数学上被描述为相互作用粒子系统。在层数无限时，ResNet导出一组耦合的常微分方程系统，称为神经微分方程。针对大规模输入数据，我们推导了平均场极限并证明了所得描述的良好适定性。进一步，我们从可控性与最优控制两种视角分析了训练过程解的存在性。基于形式最优性系统求解的数值研究阐释了理论发现。
引用
@article{arxiv.2112.14150,
title = {Continuous limits of residual neural networks in case of large input data},
author = {M. Herty and A. Thuenen and T. Trimborn and G. Visconti},
journal= {arXiv preprint arXiv:2112.14150},
year = {2022}
}