After Kernel 的性质
机器学习
2021-12-14 v3 人工智能
神经与进化计算
摘要
神经切线核(NTK)是初始化时由神经网络定义的核在宽网络极限下的结果,其嵌入是网络输出关于其参数的梯度。我们研究“after kernel”(后核),其定义使用相同的嵌入,只不过是在训练之后,针对具有标准架构的神经网络,在从 MNIST 与 CIFAR-10 提取的二分类问题上,以标准方式使用 SGD 训练。对于某些数据集-架构对,在神经网络训练若干轮后,使用网络 after kernel 的硬间隔 SVM 比使用网络初始核时要准确得多。对于架构类似于 VGG 的网络,after kernel 更“全局”,即其对破坏图像全局结构而基本保留局部统计特性的输入图像变换较不具不变性。对于全连接网络,after kernel 在此意义上较不全局。after kernel 往往对微小平移、旋转与缩放更具不变性;数据增强并未改善这些不变性。(有限近似的)共轭核由最后一层隐藏节点获得,有时(但并非总是)能很好地近似 NTK 与 after kernel。以更大学习率训练网络(同时保持训练误差恒定)会产生更好的核,以硬间隔 SVM 的测试误差衡量。以更大学习率训练的网络,其 after kernel 往往更全局,且对微小平移、旋转与缩放更具不变性。
引用
@article{arxiv.2105.10585,
title = {Properties of the After Kernel},
author = {Philip M. Long},
journal= {arXiv preprint arXiv:2105.10585},
year = {2021}
}