PAC-Chernoff界：理解插值机制下的泛化能力

本文引入了一种依赖于分布的PAC-Chernoff界，该界对插值器表现出完美的紧性，即使在过参数化模型类中也是如此。该界依赖于大偏差理论的基本原理，定义了一种刻画模型平滑性的自然度量，由简单的实值函数表征。基于该界以及平滑性这一新概念，我们提出了一个统一的理论框架，揭示了为何某些插值器表现出卓越的泛化能力，而另一些则表现不佳。我们从理论上展示了广泛的现代学习方法谱系，涵盖诸如$\ell_2$范数、距初始化距离和输入梯度正则化等技术，结合数据增强、不变架构和过参数化，如何共同引导优化器朝向更平滑的插值器，而根据我们的理论框架，这些插值器正是展现出更优泛化性能的对象。本研究表明，依赖于分布的界是理解过参数化插值器泛化能力背后复杂动态的有力工具。