高斯协变量模型中的梯度流：学习曲线的精确解与多重下降结构
机器学习
2022-12-20 v2 机器学习
摘要
近期一系列工作揭示了简单学习模型中泛化误差曲线的显著行为。即便最小二乘回归也表现出模型层面双下降等非典型特征，后续工作更观察到三重或多次下降。另一重要特征是在训练过程中涌现的轮次层面下降结构。模型层面与轮次层面下降的观察已在有限理论设定（如随机特征模型）中解析导出，其余则为实验性结果。本工作中，我们在渐近高维 regime 下、基于梯度流、于源自高斯协变量模型的更宽泛理论设定内，对泛化曲线整体时间演化给出完整且统一的分析。特别地，我们涵盖了文献中已零散观察到的大多数情形，并给出作为模型参数或时间函数的多重下降结构存在性示例。此外，我们表明理论预测与通过现实数据集上梯度下降所获得的学习曲线充分吻合。技术上，我们利用基于“线性 pencil”的随机矩阵理论近期进展，计算涉及随机矩阵的有理表达式平均。另一贡献（在随机矩阵理论中亦具独立意义）是基于 Dyson 布朗运动对相关不动点方程（及其扩展）的新推导。
引用
@article{arxiv.2212.06757,
title = {Gradient flow in the gaussian covariate model: exact solution of learning curves and multiple descent structures},
author = {Antoine Bodin and Nicolas Macris},
journal= {arXiv preprint arXiv:2212.06757},
year = {2022}
}