Takeuchi 信息准则作为深度神经网络接近 NTK 范数的泛化度量
机器学习
2026-02-27 v1
摘要
泛化度量在机器学习社区中已被广泛研究，以更好地 characterize 泛化间隙。然而，由于深层神经网络（DNN）的复杂性质，为统计奇异模型建立可靠的泛化度量具有困难。本研究聚焦于 Takeuchi 信息准则（TIC），以探讨该经典度量在何种条件下能够有效解释 DNN 泛化间隙。重要的是，发展出的理论表明 TIC 在接近神经张量核（NTK）范数时具有适用性。在一系列实验中，我们训练了超过 5000 个 DNN 模型，使用 12 种不同的架构（包括大型模型如 VGG-16），在四个数据集上训练，并估计相应的 TIC 值，以检验泛化间隙与 TIC 估计值之间的关系。我们应用了几种在计算成本可接受范围内的 TIC 近似方法，并评估了准确性之间的权衡。我们的实验结果表明，在接近 NTK 范数的情况下，估计的 TIC 值与泛化间隙之间存在良好的相关性。然而，我们既在理论上又通过实验表明，在 NTK 范数之外，这种相关性会消失。最后，我们展示了 TIC 在 hyperparameter 优化中提供了比现有方法更好的 trial 剔除能力。
关键词
引用
@article{arxiv.2602.23219,
title = {Takeuchi's Information Criteria as Generalization Measures for DNNs Close to NTK Regime},
author = {Hiroki Naganuma and Taiji Suzuki and Rio Yokota and Masahiro Nomura and Kohta Ishikawa and Ikuro Sato},
journal= {arXiv preprint arXiv:2602.23219},
year = {2026}
}