深度学习的平均场最优控制表述
最优化与控制
2020-07-21 v1 机器学习
摘要
近期将深度神经网络与动力系统联系的工作为分析深度学习开辟了新途径。特别地，人们观察到通过将深度学习重述为关于差分或微分方程的最优控制问题可获得新的见解。然而，这种表述的数学方面尚未被系统性探索。本文引入深度学习中总体风险最小化问题作为平均场最优控制问题的数学表述。呼应经典最优控制的发展，我们陈述并证明了Hamilton-Jacobi-Bellman型和Pontryagin型的最优性条件。这些平均场结果反映了学习问题的概率本质。此外，借助平均场Pontryagin极大值原理，我们建立了总体学习与经验学习问题之间的一些定量关系。这为研究最优控制与深度学习之间的算法和理论联系奠定了数学基础。
引用
@article{arxiv.1807.01083,
title = {A Mean-Field Optimal Control Formulation of Deep Learning},
author = {Weinan E and Jiequn Han and Qianxiao Li},
journal= {arXiv preprint arXiv:1807.01083},
year = {2020}
}
备注
44 pages