卷积深度核机器
机器学习
2024-02-27 v3 机器学习
摘要
神经网络的标准无限宽极限牺牲了中间层从数据中学习表征的能力。近期工作（Yang et al. 2023, 表征学习理论给出核方法的深度推广）修改了贝叶斯神经网络的神经网络高斯过程（NNGP）极限以保留表征学习。此外，他们发现将此修改极限应用于深度高斯过程得到了一种实用的学习算法，称之为深度核机器（DKM）。然而，他们仅考虑了最简单的可能设定：具有例如10个输入特征的小型全连接网络中的回归。在此，我们引入卷积深度核机器。这要求我们开发一种新颖的域间诱导点近似，并引入和实验评估若干此前DKM中未出现的技术，包括批归一化类比、不同似然以及不同类型顶层。所得模型在约77个GPU小时内训练完成，在MNIST上达到约99%测试准确率，CIFAR-100上72%，CIFAR-10上92.7%，此为核方法的SOTA。
引用
@article{arxiv.2309.09814,
title = {Convolutional Deep Kernel Machines},
author = {Edward Milsom and Ben Anson and Laurence Aitchison},
journal= {arXiv preprint arXiv:2309.09814},
year = {2024}
}
备注
ICLR 2024 Camera Ready Version