神经微分方程的均值场与动力学描述
最优化与控制
2021-11-10 v4 机器学习
摘要
如今，神经网络作为用于学习任务的人工智能模型被广泛应用于诸多领域。由于神经网络通常处理海量数据，将其在均值场与动力学理论中表述是便利的。本文关注一类特定的神经网络，即残差神经网络，假设每一层具有相同的神经元数量 ，该数量由数据维度固定。此假设允许将残差神经网络解释为时间离散化的常微分方程，类似于神经微分方程。均值场描述在输入数据无穷多的极限下获得，导出一个描述输入数据分布演化的 Vlasov 型偏微分方程。我们分析了关于网络参数（即权重与偏置）的稳态与敏感性。在一维输入数据与线性激活函数的简单设定下，矩的研究为网络参数的选择提供了见解。此外，受随机残差神经网络启发的微观动力学修正，导出了网络的 Fokker-Planck 表述，其中网络训练的概念被分布拟合任务所取代。所进行的分析通过人工数值模拟得到验证。特别地，给出了分类与回归问题的结果。
引用
@article{arxiv.2001.04294,
title = {Mean-Field and Kinetic Descriptions of Neural Differential Equations},
author = {M. Herty and T. Trimborn and G. Visconti},
journal= {arXiv preprint arXiv:2001.04294},
year = {2021}
}