基于自适应 Nyström 近似的非线性在线学习
机器学习
2018-02-26 v2
摘要
通过核近似使用非线性特征映射已在许多在线学习任务中取得成功。作为流行的核近似方法，Nyström 近似已被充分研究，并提出了各种地标点选择方法以改进近似质量。然而，这些改进的 Nyström 方法无法直接应用于在线学习场景，因为它们需要访问整个数据集来学习地标点，而在线场景中我们需要实时更新模型。为应对这一挑战，我们提出自适应 Nyström 近似用于求解非线性在线学习问题。其核心思想是通过在线 kmeans 自适应地修改地标点，并通过求解最小二乘问题随后进行梯度下降步骤来相应地调整模型。我们表明，在同等计算预算下，所得算法优于最先进的在线学习方法。
引用
@article{arxiv.1802.07887,
title = {Nonlinear Online Learning with Adaptive Nystr\"{o}m Approximation},
author = {Si Si and Sanjiv Kumar and Yang Li},
journal= {arXiv preprint arXiv:1802.07887},
year = {2018}
}