随机傅里叶特征保持核距离的相对误差研究

Rahimi 与 Recht（NIPS'07）开创性论文提出的随机傅里叶特征（RFF）方法，是一种针对平移不变核、为（高维）核空间中的点寻找近似低维表示的有力技术。尽管 RFF 已在多种误差保证概念下被分析，但其以相对误差保持核距离的能力却较少被理解。我们证明，对于包括著名拉普拉斯核在内的显著范围的核，RFF 无法用低维以较小相对误差近似核距离。作为补充，我们证明只要平移不变核是解析的，具有 $\mathrm{poly}(\epsilon^{-1} \log n)$ 维的 RFF 就能对 $n$ 个点的成对核距离达到 $\epsilon$-相对误差，并且对于核 $k$-means 这一特定应用，维数界可改进为 $\mathrm{poly}(\epsilon^{-1}\log k)$。最后，超越 RFF，我们朝通用平移不变核的数据无关降维迈出第一步，并对拉普拉斯核获得了类似的 $\mathrm{poly}(\epsilon^{-1} \log n)$ 维数界。我们还在模拟数据集上验证了方法的维数-误差权衡，其表现出优于其他流行方法（包括随机投影与 Nystr\"{o}m 方法）的性能。