基于最优传输的实例依赖泛化界
机器学习
2023-11-14 v4 机器学习
摘要
现有泛化界未能解释驱动现代神经网络泛化的关键因素。由于此类界通常对所有参数一致成立，它们受过度参数化所累，且无法解释初始化与随机梯度下降的强归纳偏置。作为替代，我们提出一种泛化问题的最优传输新解释。这使我们能够推导实例依赖泛化界，其依赖于所学预测函数在数据空间中的局部 Lipschitz 正则性。因此，我们的界与模型参数化无关，并在训练样本数远小于参数数时表现良好。经微小修改，我们的方法对低维流形上的数据给出加速速率，并在分布偏移下提供保证。我们从经验上分析了神经网络上的泛化界，表明界值具有意义并能捕捉训练中流行正则化方法的影响。
引用
@article{arxiv.2211.01258,
title = {Instance-Dependent Generalization Bounds via Optimal Transport},
author = {Songyan Hou and Parnian Kassraie and Anastasis Kratsios and Andreas Krause and Jonas Rothfuss},
journal= {arXiv preprint arXiv:2211.01258},
year = {2023}
}
备注
Journal of Machine Learning Research (JMLR), 51 pages