神经网络学习的统一核
机器学习
2025-11-07 v2 人工智能
摘要
过去几十年见证了人们对神经网络学习与核学习之间区别与联系的极大兴趣。近期进展在连接无限宽神经网络与高斯过程方面取得了理论突破。两种主要方法应运而生：神经网络高斯过程（NNGP）与神经正切核（NTK）。前者植根于贝叶斯推断，代表零阶核；后者基于梯度下降的切空间，为一阶核。本文提出统一神经核（UNK），它由生成变量的内积导出，刻画了带有梯度下降与参数初始化的神经网络学习动力学。所提出的UNK核保持了NNGP与NTK的极限性质，在有限学习步长下表现出类似NTK的行为，并在学习步长趋于无穷时收敛至NNGP。此外，我们还从理论上刻画了UNK核的一致紧性与学习收敛性，为这一统一核提供了全面的洞见。实验结果验证了所提方法的有效性。
引用
@article{arxiv.2403.17467,
title = {A Unified Kernel for Neural Network Learning},
author = {Shao-Qun Zhang and Zong-Yi Chen and Yong-Ming Tian and Xun Lu},
journal= {arXiv preprint arXiv:2403.17467},
year = {2025}
}