迈向随机傅里叶特征的统一分析
机器学习
2021-02-08 v5 机器学习
摘要
随机傅里叶特征是一种广泛使用、简单且有效的用于扩展核方法的技术。然而，该方法的现有理论分析仍聚焦于特定学习任务，且通常给出与经验结果不符的悲观界。我们解决这些问题，并首次使用平方误差和 Lipschitz 连续损失函数对随机傅里叶特征学习提供统一的风险分析。在我们的界中，计算代价与期望风险收敛速率之间的权衡是问题相关的，并表示为正则化参数和\emph{有效自由度数量}。我们研究了标准随机傅里叶特征方法（我们改进了保证核岭回归相应极小极大风险收敛速率所需特征数量的现有界），以及一种数据相关的修正（其按与\emph{岭杠杆分数}成比例采样特征并进一步减少所需特征数量）。由于岭杠杆分数计算代价高昂，我们设计了一种简单的近似方案，可证明在不损失统计效率的情况下降低计算成本。
引用
@article{arxiv.1806.09178,
title = {Towards A Unified Analysis of Random Fourier Features},
author = {Zhu Li and Jean-Francois Ton and Dino Oglic and Dino Sejdinovic},
journal= {arXiv preprint arXiv:1806.09178},
year = {2021}
}