基于Łojasiewicz–Simon不等式的深度学习连续模型收敛结果

Noboru Isobe

基于Łojasiewicz–Simon不等式的深度学习连续模型收敛结果

机器学习 2024-04-16 v2 偏微分方程分析泛函分析概率论

作者: Noboru Isobe

摘要

本研究聚焦于一种Wasserstein型梯度流，其表征深度神经网络（DNN）连续模型的优化过程。首先，我们在 $L^2$ 正则化下建立该模型平均损失极小元之存在性。随后，我们证明损失极大斜率曲线的存在性。我们的主要结果是：当时间趋于无穷时，流收敛至损失的临界点。证明该结果的关键环节在于建立损失的Łojasiewicz–Simon梯度不等式。我们通过假设神经网络与损失函数的解析性推导此不等式。我们的证明为非凸泛函Wasserstein型梯度流渐近行为分析提供了新途径。

关键词

深度学习连续模型 Wasserstein梯度流 Łojasiewicz–Simon不等式收敛深度神经网络非凸泛函

引用

@article{arxiv.2311.15365,
  title  = {A convergence result of a continuous model of deep learning via \L{}ojasiewicz--Simon inequality},
  author = {Noboru Isobe},
  journal= {arXiv preprint arXiv:2311.15365},
  year   = {2024}
}

备注

31 pages, fix the title

基于Łojasiewicz–Simon不等式的深度学习连续模型收敛结果

摘要

关键词

引用

备注

相关论文