面向内存受限核近似的低精度随机傅里叶特征
机器学习
2019-03-21 v2 人工智能
机器学习
摘要
我们研究如何在内存预算下训练泛化性能良好的核近似方法。基于近期理论工作,我们定义了一种核近似误差的度量,发现其比传统指标更能预测核近似方法的经验泛化性能。该定义的一个重要结论是,核近似矩阵必须是高秩的才能达到紧密近似。由于存储高秩近似耗费大量内存,我们提出使用低精度量化的随机傅里叶特征(LP-RFFs)在内存预算下构建高秩近似。理论上,我们证明在重要设定下量化对泛化性能的影响可忽略。在实验上,我们在四个基准数据集上证明LP-RFFs能以分别少3倍–10倍和50倍–460倍的内存匹配全精度RFFs与Nyström方法的性能。
引用
@article{arxiv.1811.00155,
title = {Low-Precision Random Fourier Features for Memory-Constrained Kernel Approximation},
author = {Jian Zhang and Avner May and Tri Dao and Christopher Ré},
journal= {arXiv preprint arXiv:1811.00155},
year = {2019}
}
备注
International Conference on Artificial Intelligence and Statistics (AISTATS) 2019