通过草图与随机特征缩放神经正切核
机器学习
2021-12-09 v2 计算机视觉与模式识别
数据结构与算法
摘要
神经正切核(Neural Tangent Kernel, NTK)刻画了在最小二乘损失下通过梯度下降训练的无限宽神经网络的行为。近期工作还指出,在小规模数据集上,NTK 回归可优于有限宽神经网络。然而,核方法的计算复杂度限制了其在大规模学习任务中的使用。为加速基于 NTK 的学习,我们通过对反余弦核的多项式展开进行草图化,设计了近输入稀疏时间的 NTK 近似算法:我们的卷积 NTK(CNTK)草图能以关于像素数的线性运行时间转换任意图像。此外,我们通过将反余弦核的随机特征(基于杠杆分数抽样)与草图算法相结合,证明了 NTK 矩阵的谱近似保证。我们在多个大规模回归与分类任务上对所提方法进行了基准测试,结果表明,在我们的 CNTK 特征上训练的线性回归器在 CIFAR-10 数据集上达到了与精确 CNTK 相当的准确率,同时实现了 150 倍加速。
引用
@article{arxiv.2106.07880,
title = {Scaling Neural Tangent Kernels via Sketching and Random Features},
author = {Amir Zandieh and Insu Han and Haim Avron and Neta Shoham and Chaewon Kim and Jinwoo Shin},
journal= {arXiv preprint arXiv:2106.07880},
year = {2021}
}
备注
This is a merger of arXiv:2104.01351, arXiv:2104.00415