神经网络泛化的插值公式
机器学习
2026-03-17 v1 动力系统
摘要
2020 年，Domingos 提出一种适用于"通过梯度下降训练的每个模型"的插值公式，得出结论此类模型行为约等于核机器。在本文中，我们将 Domingos 公式扩展至随机训练。我们引入一种通过连续时间扩散近似扩展的随机梯度核。我们证明了随机 Domingos 定理，表明预期网络输出可采用具有优化器特定加权的核机器表示。它揭示了训练样本通过损失相关权重和沿训练轨迹的梯度对齐贡献。随后，我们将泛化误差关联到由随机梯度核诱导的积分算子的零空间。相同的路径核视角为统一解释扩散模型和 GAN：扩散引发阶段性、噪声局部化的修正，而 GAN 则引发由判别器几何形成的分布引导修正。我们可视化了优化期间隐式核的演化，并通过一系列数值实验量化了 out-of-distribution 行为。我们的结果支持一种特征空间记忆观点：训练将数据依赖信息存储在演化中的切向特征几何中，测试时的预测源于核加权检索和聚合这些存储特征，泛化由测试点与所学特征记忆之间的对齐程度决定。
引用
@article{arxiv.2603.13872,
title = {On Interpolation Formulas Describing Neural Network Generalization},
author = {Jin Guo and Roy Y. He and Jean-Michel Morel},
journal= {arXiv preprint arXiv:2603.13872},
year = {2026}
}
备注
33 pages, 10 figures