通过函数空间中的稀疏投影实现基于核的简约在线学习
机器学习
2016-12-14 v1 机器学习
摘要
尽管非参数函数逼近技术具有吸引力，但普遍认为由于其所需存储量难以控制地增长，这些技术无法扩展至流数据。为了以可承受的内存代价解决此问题，我们提出了一种基于泛函随机梯度下降的在线技术，并结合基于贪婪函数子空间投影的有监督稀疏化方法。该方法称为基于核的简约在线学习（POLK），在其求解精度与所需内存之间提供了可控的折中。我们推导了所生成的函数序列几乎必然收敛至最优函数的条件，并证明了其内存需求保持有限。我们在三个经典数据集上评估了 POLK 的核多类逻辑回归和核合页损失分类性能：一个合成的混合高斯模型、MNIST 手写数字数据集和 Brodatz 纹理数据库。在所有三个任务中，我们观察到该方法在目标函数评估、分类性能以及所提取的非参数回归器复杂度之间取得了良好的折中。
引用
@article{arxiv.1612.04111,
title = {Parsimonious Online Learning with Kernels via Sparse Projections in Function Space},
author = {Alec Koppel and Garrett Warnell and Ethan Stump and Alejandro Ribeiro},
journal= {arXiv preprint arXiv:1612.04111},
year = {2016}
}
备注
Submitted to JMLR on 11/24/2016