结构化特征上SGD的学习曲线
机器学习
2022-03-16 v5 机器学习
摘要
诸如神经网络之类的机器学习算法的泛化性能以非平凡的方式依赖于数据分布的结构。为分析数据结构对测试损失动态的影响，我们研究了一个可精确求解的随机梯度下降（SGD）在均方损失上的模型，该模型可预测在具有任意协方差结构的特征上训练时的测试损失。我们对高斯特征和任意特征均给出了精确理论解，并表明更简单的高斯模型能准确预测在MNIST和CIFAR-10等真实数据集上由SGD训练的非线性随机特征模型和深度神经网络的测试损失。我们表明，在固定计算预算下的最优批量大小通常较小，并依赖于特征相关结构，展示了小批量SGD的计算优势。最后，我们将理论扩展到更常见的固定子采样训练集上的随机梯度下降设置，表明在我们的框架下可准确预测真实数据上的训练与测试误差。
引用
@article{arxiv.2106.02713,
title = {Learning Curves for SGD on Structured Features},
author = {Blake Bordelon and Cengiz Pehlevan},
journal= {arXiv preprint arXiv:2106.02713},
year = {2022}
}
备注
Camera Ready for ICLR 2022: https://openreview.net/forum?id=WPI2vbkAl3Q