随机特征的力量与分布自由梯度下降的极限
机器学习
2025-05-16 v1
摘要
我们研究了基于梯度的优化（例如神经网络）与对线性随机特征组合的优化之间的关系。我们的主要结果表明，如果可以使用小批量随机梯度下降（bSGD）而无需对数据分布作出假设来学习参数化模型，则以高概率，目标函数也可以使用多项式大小的随机特征组合来近似。该组合的大小取决于 bSGD 过程中使用的梯度步数和数值精度。这一发现揭示了通过梯度下降训练的神经网络在分布自由学习中的根本限制，突显了在实践中通常至关重要地对数据分布作出假设的原因。顺便我们还引入了一种新的理论框架称为 average probabilistic dimension complexity（adc），它扩展了由 Kamath 等人（2020）开发的概率维度复杂度。我们证明了 adc 与统计查询维度之间存在多项式关系，并利用这一关系演示了 adc 与标准维度复杂度之间存在无限分离。
引用
@article{arxiv.2505.10423,
title = {The Power of Random Features and the Limits of Distribution-Free Gradient Descent},
author = {Ari Karchmer and Eran Malach},
journal= {arXiv preprint arXiv:2505.10423},
year = {2025}
}