零损失保证与通用过参数化深度学习网络的显式最小化器

Thomas Chen; Andrew G. Moore

零损失保证与通用过参数化深度学习网络的显式最小化器

机器学习 2025-02-21 v1 人工智能偏微分方程分析最优化与控制机器学习

作者: Thomas Chen , Andrew G. Moore

摘要

我们确定了超参数化深度学习(DL)网络在监督学习上下文中，对于 $\mathcal{L}^2$ 成本和{\em 通用}训练数据的零损失可达性的充分条件。我们提出了一个不依赖梯度下降的零损失最小化器的显式构造。另一方面，我们指出通过分析梯度下降算法用于成本最小化的条件来阐明，深度增加会恶化成本最小化的效率。我们的结果阐明了在非参数化与超参数化DL之间零损失可达性的关键方面。

关键词

深度学习零损失过参数化雅可比矩阵秩显式最小化器

引用

@article{arxiv.2502.14114,
  title  = {Zero loss guarantees and explicit minimizers for generic overparametrized Deep Learning networks},
  author = {Thomas Chen and Andrew G. Moore},
  journal= {arXiv preprint arXiv:2502.14114},
  year   = {2025}
}

备注

AMS Latex, 9 pages

零损失保证与通用过参数化深度学习网络的显式最小化器

摘要

关键词

引用

备注

相关论文