基于神经能量下降的深度学习
数值分析
2023-02-22 v1 数值分析
摘要
本文针对一类广泛的深度学习问题，通过神经网络演化方程提出神经能量下降（Nerual Energy Descent, NED）。我们表明深度学习可重新表述为演化方程中网络参数的演化，且该偏微分方程（PDE）的稳态解给出了深度学习的一个解。该方程对应于一个变分问题的梯度下降流，因此所提出的时间依赖 PDE 通过求解能量最小化问题来获得深度学习的全局极小元。这为深度学习优化提供了新颖的解释与解法。所提能量下降方法的计算复杂度可通过随机采样 PDE 的空间域而降低，从而得到高效的 NED。文中给出数值例子以展示 NED 相对于随机梯度下降（SGD）的数值优势。
引用
@article{arxiv.2302.10424,
title = {Deep Learning via Neural Energy Descent},
author = {Wenrui Hao and Chunmei Wang and Xingjian Xu and Haizhao Yang},
journal= {arXiv preprint arXiv:2302.10424},
year = {2023}
}