深度学习的一个数学原理：学习Wasserstein空间中的测地曲线
机器学习
2021-03-05 v2 机器学习
摘要
近期研究揭示了深度神经网络(DNN)与动力系统的数学联系。然而，DNN的基本原理尚未从优化与泛化的角度被动力系统充分刻画。为此，我们建立DNN与连续性方程的联系，其中测度守恒以建模DNN的前向传播过程，这是此前未被探讨的。DNN学习输入分布到输出分布的变换。然而，在测度空间中，存在连接两个分布的无穷多条曲线。哪一条能带来DNN良好的优化与泛化？通过深入最优传输理论，我们发现带权重衰减的DNN试图学习Wasserstein空间中的测地曲线，该曲线由最优传输映射诱导。与普通网络相比，ResNet是测地曲线的更好近似，这解释了为何ResNet能被优化且泛化更好。数值实验表明，普通网络与ResNet的数据轨迹就线形分数(LSS)而言趋于线形，且ResNet学到的映射就最优传输分数(OTS)而言更接近最优传输映射。总之，我们总结深度学习的数学原理之一是学习Wasserstein空间中的测地曲线；且深度学习是高维空间中连续变换的杰出工程实现。
引用
@article{arxiv.2102.09235,
title = {A Mathematical Principle of Deep Learning: Learn the Geodesic Curve in the Wasserstein Space},
author = {Kuo Gai and Shihua Zhang},
journal= {arXiv preprint arXiv:2102.09235},
year = {2021}
}
备注
40 pages, 16 figures