秩序是否重要：将鲁韦尔律与鲁韦尔泛化相连接
机器学习
2026-02-26 v2 人工智能
摘要
Bubeck 和 Sellke (2021) 将鲁韦尔律与鲁韦尔泛化之间的联系提出作为一个公开问题。鲁韦尔律指出，过参数化是模型实现鲁韦尔插值的必要条件，特别是，鲁韦尔插值需要学习的函数具有 Lipschitz 连续性。鲁韦尔泛化询问的是小鲁韦尔训练损失是否意味着小鲁韦尔测试损失。我们通过为任意数据分布建立明确的联系来解决这一问题。具体而言，我们引入一种非平凡的鲁韦尔泛化误差概念，并将其转化为诱导鲁韦尔损失类预期 Rademacher 复杂度的下界。我们的界限恢复了 Wu 等人 (2023) 的 区间，并显示出鲁韦尔泛化在常数因子上并不会改变平滑插值所需 Lipschitz 常数的阶数。我们进行实验来探讨该下界 Lipschitz 常数随数据集规模和模型容量的预测比例，测试经验行为是否更接近 Bubeck 和 Sellke (2021) 还是 Wu 等人 (2023) 的预测。在 MNIST 数据集上，我们发现下界 Lipschitz 常数按 Wu 等人 (2023) 的预测比例增长。简而言之，要获得低鲁韦尔泛化误差，Lipschitz 常数必须位于我们所界定的范围内，而可允许的扰动半径与 Lipschitz 比例尺相关联。
引用
@article{arxiv.2602.20971,
title = {Does Order Matter : Connecting The Law of Robustness to Robust Generalization},
author = {Himadri Mandal and Vishnu Varadarajan and Jaee Ponde and Aritra Das and Mihir More and Debayan Gupta},
journal= {arXiv preprint arXiv:2602.20971},
year = {2026}
}