插值情境下 Gibbs 和 Langevin 蒙特卡�尔算法的广义
机器学习
2026-02-13 v2 机器学习
摘要
本文给出 Gibbs 算法在参数化过载的插值情境下的预期误差数据依赖界限，其中即使对不可能的数据（如分类中的随机标签）也能获得低训练误差。结果表明，在较高温度较嘈杂的情境中，小训练误差已经在较低温度情境下信号化了泛化。这些界限在使用 Langevin 蒙特卡�尔算法进行近似时是稳定的。该分析动机用于设计一种算法，用于在 MNIST 和 CIFAR-10 数据集上计算这些界限，能够对真实标记数据获得非平凡且接近测试误差的预测，同时对随机标签的测试误差保持正确的上界。
引用
@article{arxiv.2510.06028,
title = {Generalization of Gibbs and Langevin Monte Carlo Algorithms in the Interpolation Regime},
author = {Andreas Maurer and Erfan Mirzaei and Massimiliano Pontil},
journal= {arXiv preprint arXiv:2510.06028},
year = {2026}
}