McKernel：一个用于对数线性时间近似核展开的库
机器学习
2020-04-20 v9 机器学习
摘要
McKernel 引入了一个框架，用于在 mini-batch 设置下结合随机梯度下降（SGD）使用核近似，作为深度学习的一种替代方案。基于随机厨房水槽（Random Kitchen Sinks）[Rahimi and Recht 2007]，我们提供了一个用于大规模机器学习的 C++ 库。它包含 [Le et al. 2013] 中算法的 CPU 优化实现，能够在对数线性时间内计算近似核展开。该算法需要计算 Walsh Hadamard 矩阵的乘积。我们开发了一种缓存友好的快速 Walsh Hadamard 变换，其速度引人注目，且优于当前最先进的方法。McKernel 奠定了一种新型学习架构的基础，该架构结合闪电般的核展开与线性分类器，能够实现大规模非线性分类。它在 mini-batch 设置下运行，工作方式类似于神经网络。我们通过在 MNIST 和 FASHION MNIST [Xiao et al. 2017] 上的大量实验，展示了我们方法的有效性。
引用
@article{arxiv.1702.08159,
title = {McKernel: A Library for Approximate Kernel Expansions in Log-linear Time},
author = {J. D. Curtó and I. C. Zarza and Feng Yang and Alex Smola and Fernando de la Torre and Chong Wah Ngo and Luc van Gool},
journal= {arXiv preprint arXiv:1702.08159},
year = {2020}
}