模型、样本与轮次下降：随机特征模型中梯度流的精确解
机器学习
2021-10-25 v1 机器学习
摘要
近期证据表明，深度学习模型泛化误差存在所谓的双下降甚至三下降行为。这一重要现象普遍出现在实际实现的神经网络架构中，似乎也在训练过程中的轮次曲线上显现。近期一系列研究强调，随机矩阵工具可用于获得随机特征模型泛化（与训练）误差的精确解析渐近式。在本文中，我们分析了随机特征模型在梯度流下泛化与训练误差的整体时间行为。我们证明，在系统规模较大的渐近极限下，两种误差的完整时间演化路径均可解析计算。这使我们能观察双下降与三下降如何随时间发展、早停止是否及何时为一种选择，并观察到时间维度的下降结构。我们的技术基于误差的柯西复积分表示，以及近期基于线性束的随机矩阵方法。
引用
@article{arxiv.2110.11805,
title = {Model, sample, and epoch-wise descents: exact solution of gradient flow in the random feature model},
author = {Antoine Bodin and Nicolas Macris},
journal= {arXiv preprint arXiv:2110.11805},
year = {2021}
}