作为深度神经网络模型的微分方程
机器学习
2019-10-30 v2 机器学习
摘要
本文中，我们系统分析了用作机器学习模型的微分方程的一般性质。我们证明，损失函数关于隐状态的梯度可视为与隐状态共轭的广义动量，从而可应用经典力学的工具。此外，我们表明不仅残差网络，而且具有小非线性且权重矩阵仅略微偏离单位矩阵的的前馈神经网络也可与微分方程相关联。我们提出描述此类网络的微分方程并研究其性质。
引用
@article{arxiv.1909.03767,
title = {Differential equations as models of deep neural networks},
author = {Julius Ruseckas},
journal= {arXiv preprint arXiv:1909.03767},
year = {2019}
}