深度学习:流体力学与 Lie-Poisson Hamilton-Jacobi 理论
最优化与控制
2021-06-09 v2 动力系统
摘要
将深度学习解释为动力系统近年来获得了相当关注,因其提供了一个有前景的框架。它允许利用既有数学领域中已有的思想来研究深度神经网络。在本文中,我们将深度学习表述为一种等价的流体力学形式,其实际上具有 Lie-Poisson 结构,这进一步允许使用泊松几何来研究深度学习。这是通过将深度神经网络的训练视为一个随机最优控制问题而成为可能,该问题使用平均场型控制求解。随机最优控制问题的最优性条件给出一组偏微分方程,我们将其约化为量子流体力学方程组。我们进一步利用流体力学等价性证明,在网络上施加条件时,其等价于非线性薛定谔方程。由于此类系统具有特定的几何结构,我们还提出了一种基于 Hamilton-Jacobi 理论及其 Lie-Poisson 版本(即 Lie-Poisson Hamilton-Jacobi 理论)的保结构数值格式。选择该格式是因为其可应用于确定性与平均场型控制哈密顿量。该方法不仅消除了出现虚构解的可能性,也免除了构造高阶方法时附加约束的需要。
引用
@article{arxiv.2105.09542,
title = {Deep Learning: Hydrodynamics, and Lie-Poisson Hamilton-Jacobi Theory},
author = {Nader Ganaba},
journal= {arXiv preprint arXiv:2105.09542},
year = {2021}
}