基于朗之万泛函方差的过参数化模型泛化差距估计
机器学习
2023-03-21 v3 机器学习
统计方法学
摘要
本文讨论了包括神经网络在内的过参数化模型的泛化差距（泛化性能与训练性能之差）的估计。我们首先表明，定义广泛适用信息准则的关键概念——泛函方差，即使在常规理论无法应用的过参数化设定下也能刻画泛化差距。由于泛函方差对于过参数化模型计算代价高昂，我们提出了一种高效的泛函方差近似方法：朗之万泛函方差近似（Langevin FV）。该方法仅利用平方损失函数的 阶梯度，而不涉及 阶梯度；这保证了计算的高效性以及与基于梯度的优化算法实现的一致性。我们通过估计包含逾千参数的过参数化线性回归和非线性神经网络模型的泛化差距，对朗之万 FV 进行了数值验证。
引用
@article{arxiv.2112.03660,
title = {A generalization gap estimation for overparameterized models via the Langevin functional variance},
author = {Akifumi Okuno and Keisuke Yano},
journal= {arXiv preprint arXiv:2112.03660},
year = {2023}
}
备注
40 pages, no figure, accepted to Journal of Computational and Graphical Statistics