使用瑞利商在过参数化机制之外的收敛性
机器学习
2023-01-20 v1
摘要
在本文中，我们提出了一种新策略，通过梯度流证明深度学习架构收敛到零训练（甚至测试）损失。我们的分析以瑞利商的概念为核心，以便为更广泛的神经网络架构和损失函数证明 Kurdyka-Łojasiewicz 不等式。我们表明瑞利商为文献中若干收敛分析技术提供了统一视角。我们的策略对各种参数化学习示例给出了收敛性证明。特别地，我们的分析不要求参数数量趋于无穷，也不要求样本数量有限，因此可扩展到测试损失最小化并超越过参数化机制。
引用
@article{arxiv.2301.08117,
title = {Convergence beyond the over-parameterized regime using Rayleigh quotients},
author = {David A. R. Robin and Kevin Scaman and Marc Lelarge},
journal= {arXiv preprint arXiv:2301.08117},
year = {2023}
}
备注
Published at the 36th conference on Neural Information Processing Systems (NeurIPS 2022)