深度学习中的有效梯度流方程推导与训练数据的动态截断
机器学习
2025-01-15 v1 人工智能
偏微分方程分析
最优化与控制
机器学习
摘要
我们推导了在ReLU激活函数下，基于输入层欧几里得代价的梯度下降，并假设权重在精确意义上适应于由激活函数区分的坐标系时，深度学习中的累积偏置和权重的显式方程。我们表明，梯度下降对应于输入层中的一个动态过程，其中数据簇以指数速率逐渐降低复杂度（“截断”），该速率随着已被截断的数据点数量的增加而增加。我们详细讨论了梯度流方程的几种解类型。本研究的主要动机是揭示监督学习中的可解释性问题。
引用
@article{arxiv.2501.07400,
title = {Derivation of effective gradient flow equations and dynamical truncation of training data in Deep Learning},
author = {Thomas Chen},
journal= {arXiv preprint arXiv:2501.07400},
year = {2025}
}
备注
AMS Latex, 35 pages