各向同性核的谱混合表示及其在随机傅里叶特征中的应用
机器学习
2026-02-24 v4 概率论
统计计算
机器学习
摘要
Rahimi 和 Recht(2007)提出了通过从正定平移不变核的谱分布中随机采样来分解此类核的思想,用于机器学习应用。这一著名技术即随机傅里叶特征(RFF),原则上适用于任何能够识别并模拟其谱分布的此类核。然而在实践中,由于其谱分布同样为高斯分布,该方法通常仅应用于高斯核。显然,对于更广泛的核类而言,简单的谱采样公式是可取的。本文证明,(对所有 )中正定各向同性核的谱分布可分解为 -稳定随机向量的尺度混合,且混合分布可表示为核的函数。这一构造性分解为许多多元正定平移不变核(包括指数幂核和广义柯西核)以及新引入的核(如广义 Matérn、Tricomi 和 Fox 核)提供了简单且可直接使用的谱采样公式。特别地,我们获得了这些核的谱分布——仅能以 Fox 特殊函数显式表达——是多元高斯分布的尺度混合这一事实,并给出了显式的混合分布公式。这一结果对支持向量机、核岭回归、高斯过程以及其他可应用随机傅里叶特征技术的基于核的机器学习方法具有广泛的应用。
引用
@article{arxiv.2411.02770,
title = {A spectral mixture representation of isotropic kernels with application to random Fourier features},
author = {Nicolas Langrené and Xavier Warin and Pierre Gruet},
journal= {arXiv preprint arXiv:2411.02770},
year = {2026}
}
备注
27 pages, 12 figures