关于正则化 NTK 动力学的注记及其在 PAC-Bayesian 训练中的应用
机器学习
2023-12-21 v1 机器学习
摘要
我们为训练目标包含正则化项以约束参数保持接近其初始值的神经网络建立了显式动力学。这使网络保持在惰性训练(lazy training)区间内,其动力学可在初始化处被线性化。标准的神经正切核(neural tangent kernel, NTK)在无限宽度极限下主导训练期间的演化,尽管正则化使得描述该动力学的微分方程中出现一个附加项。该设定为研究优化诸如 PAC-Bayes 界等泛化目标的宽网络演化提供了合适的框架,从而有望促进对此类网络更深入的理论理解。
引用
@article{arxiv.2312.13259,
title = {A note on regularised NTK dynamics with an application to PAC-Bayesian training},
author = {Eugenio Clerico and Benjamin Guedj},
journal= {arXiv preprint arXiv:2312.13259},
year = {2023}
}