Fastfood：对数线性时间内的近似核展开

尽管核方法取得了成功，但使其难以应用于许多大规模问题的事实是，存储和计算决策函数通常代价高昂，尤其是在预测阶段。在本文中，我们通过提出 Fastfood 克服了这一困难，这是一种能显著加速此类计算的近似方法。Fastfood 的关键在于观察到 Hadamard 矩阵在与对角高斯矩阵结合时，表现出与稠密高斯随机矩阵相似的性质。然而与后者不同，Hadamard 矩阵和对角矩阵的乘法和存储成本很低。这两类矩阵可用于替代 Rahimi 和 Recht (2009) 提出的 Random Kitchen Sinks 中的高斯矩阵，从而加速一大类核函数的计算。具体而言，Fastfood 需要 $O(n \log d)$ 时间和 $O(n)$ 存储来计算 $d$ 维空间中的 $n$ 个非线性基函数，相较于 $O(nd)$ 的计算和存储需求有了显著改进，且未牺牲精度。我们的方法适用于任何平移不变核和任何点积核，例如流行的 RBF 核和多项式核。我们证明了该近似是无偏的且具有低方差。实验表明，我们在达到与完整核展开和 Random Kitchen Sinks 相似精度的同时，速度快了 100 倍，内存占用少了 1000 倍。这些改进，尤其是在内存使用方面，使得核方法对于具有大型训练集和/或需要实时预测的应用更加实用。