带一般凸正则化的随机特征模型:具有精确渐近学习曲线的细粒度分析
机器学习
2023-03-02 v2 机器学习
摘要
我们计算了带可分强凸正则化或 正则化的最小二乘随机特征(RF)模型学习曲线的精确渐近表达式。我们提出了凸高斯极小极大定理(CGMT)的一种新颖多层应用,以克服为相关数据下的随机特征模型寻找可计算表达式的传统困难。我们的结果以一个可计算的 4 维标量优化形式给出。与先前结果相比,我们的方法不需要求解一个随模型参数量增长的、通常难以处理的邻近算子。此外,我们将 RF 模型训练与泛化误差的普适性结果推广到 正则化。特别地,我们证明在温和条件下,带弹性网或 正则化的随机特征模型渐近等价于一个具有相同一阶与二阶矩的替代高斯模型。我们通过数值实验展示了我们结果的预测能力,并实验表明所预测的测试误差在非渐近 regime 下也准确。
引用
@article{arxiv.2204.02678,
title = {Random Features Model with General Convex Regularization: A Fine Grained Analysis with Precise Asymptotic Learning Curves},
author = {David Bosch and Ashkan Panahi and Ayca Özcelikkale and Devdatt Dubhash},
journal= {arXiv preprint arXiv:2204.02678},
year = {2023}
}
备注
52 pages, 3 figures