随机核正则化提升深度核机器的泛化能力
机器学习
2024-10-10 v1 机器学习
摘要
最近的研究开发了卷积深度核机器，在 CIFAR-10 上实现了 92.7% 的测试准确率，采用 ResNet 风格的架构，这是核方法的 SOTA。然而，这仍滞后于神经网络，后者在类似架构下轻松实现超过 94% 的测试准确率。本文引入了若干修改以提高卷积深度核机器的泛化能力，其中包括随机核正则化，该方法在训练时向学习到的 Gram 矩阵中添加噪声。最终得到的模型在 CIFAR-10 上实现了 94.5% 的测试准确率。这一发现具有重要的理论和实践意义，表明在复杂任务（如图像分类）中表现良好的能力并非神经网络独有。只要具备从数据中学习表征的能力，其他方法（如深度核方法）也能在此类任务中取得卓越的性能。
引用
@article{arxiv.2410.06171,
title = {Stochastic Kernel Regularisation Improves Generalisation in Deep Kernel Machines},
author = {Edward Milsom and Ben Anson and Laurence Aitchison},
journal= {arXiv preprint arXiv:2410.06171},
year = {2024}
}
备注
Neurips 2024 Camera Ready Version (without checklist)