通过等周性得出的鲁棒性普适定律
机器学习
2022-12-27 v4 机器学习
摘要
经典地，只要参数数量大于待满足的方程数量，使用参数化模型类进行数据插值便是可能的。深度学习中的一个令人困惑的现象是，模型训练所用的参数远多于该经典理论所建议的数量。我们对此现象提出部分理论解释。我们证明，对于广泛的数据分布与模型类，若想平滑地插值数据，过参数化是必要的。即我们表明，平滑插值比单纯插值需要多 倍的参数，其中 为环境数据维度。我们针对任何具有多项式大小权重的平滑参数化函数类，以及任何满足等周性的协变量分布，证明了这一鲁棒性普适定律。对于两层神经网络与高斯协变量的情况，该定律在 Bubeck、Li 和 Nagaraj 的先前工作中被猜想。我们还将结果解释为针对由平滑函数构成的模型类的一个改进泛化界。
引用
@article{arxiv.2105.12806,
title = {A Universal Law of Robustness via Isoperimetry},
author = {Sébastien Bubeck and Mark Sellke},
journal= {arXiv preprint arXiv:2105.12806},
year = {2022}
}