物理学、数学与深度学习之间的联系
机器学习
2019-08-27 v3 高能物理 - 理论
机器学习
摘要
从支配经典与量子力学的Fermat最小作用量原理，以及支配弯曲流形几何的外微分形式理论出发，我们展示了如何以内在、坐标不变的方式推导支配神经网络的方程，其中损失函数起到哈密顿量的作用。为保持协变性，这些方程隐含一个层度量，它在预训练中起着关键作用，并解释了使用复数时共轭的作用。该微分形式体系也阐明了梯度下降优化器与亚里士多德及牛顿力学的关系，以及为何大的学习步长会破坏线性化过程的逻辑。我们希望这一神经网络微分几何的形式化表述能鼓励一些物理学家投身深度学习，反之亦然，深度学习的专家也能更好地领会其学科与经典及量子场论基础的紧密互联。
引用
@article{arxiv.1811.00576,
title = {Connections between physics, mathematics and deep learning},
author = {Jean Thierry-Mieg},
journal= {arXiv preprint arXiv:1811.00576},
year = {2019}
}
备注
Version 1 and 2 title was: How the fundamental concepts of mathematics and physics explain deep learning. Version 3 with the new title is accepted in LHEP. It is enriched by a new chapter on the Bayesian Information criterion seen as an application of renormalisation theory. 19 pages, 22 references, no figure