神经正切核对齐理论及其对训练的影响
机器学习
2022-02-11 v2 机器学习
摘要
神经网络(NN)的训练动态与泛化性质可通过神经正切核(NTK)在函数空间中精确刻画。训练期间 NTK 的结构变化反映了特征学习，并构成了网络在静态核机制之外卓越性能的基础。本工作中，我们力求从理论上理解核对齐——一种使 NTK 与目标函数对齐的显著且普遍存在的结构变化。我们首先研究核演化的玩具模型，其中 NTK 演化以加速训练，并表明对齐自然源于此需求。接着我们研究深度线性网络与两层 ReLU 网络中的对齐机制。这些理论对实际网络中核对齐与专门化提供了良好的定性描述，并识别出驱动核对齐的网络架构与数据结构因素。在具有多输出的非线性网络中，我们识别出核专门化现象，即每个输出头的核函数优先与其自身的目标函数对齐。总之，我们的结果提供了核对齐如何在 NN 训练中涌现的机理解释，以及它如何有益于训练的规范解释。
引用
@article{arxiv.2105.14301,
title = {A Theory of Neural Tangent Kernel Alignment and Its Influence on Training},
author = {Haozhe Shan and Blake Bordelon},
journal= {arXiv preprint arXiv:2105.14301},
year = {2022}
}