随机特征模型泛化误差的缓慢恶化
机器学习
2020-08-14 v1 机器学习
摘要
当参数数量接近训练样本量时，随机特征模型表现出一种共振行为。该行为的特征是出现较大的泛化差距，并且是由于相关 Gram 矩阵出现非常小的特征值所致。在本文中，我们考察了该 regime 下梯度下降算法的动态行为。我们从理论和实验上表明，存在一种动态自校正机制在起作用：最终的泛化差距越大，其发展越慢，这两者都是因为小特征值。这为我们提供了充足的时间来停止训练过程并获得具有良好泛化性质的解。
引用
@article{arxiv.2008.05621,
title = {The Slow Deterioration of the Generalization Error of the Random Feature Model},
author = {Chao Ma and Lei Wu and Weinan E},
journal= {arXiv preprint arXiv:2008.05621},
year = {2020}
}