流式学习：单遍支持向量机
机器学习
2009-08-06 v1 机器学习
摘要
我们通过利用学习与计算几何之间的联系，提出了一种用于大规模分类（在ℓ₂-SVM背景下）的流式模型。流式模型施加了仅允许对数据进行单次遍历的约束。已知ℓ₂-SVM具有等价于最小包围球问题的表述，并且存在一种基于核心集思想的高效算法（核心向量机，CVM）。CVM学习一组点的(1+ε)-近似最小包围球，并得到相应SVM实例的近似解。然而，CVM以批处理模式工作，需要对数据进行多次遍历。本文提出了一种基于流数据最小包围球的单遍SVM。我们展示了流情况下的最小包围球更新可以很容易地适应于以类似于使用在线随机梯度更新的方式学习SVM权重向量。我们的算法对每个样本执行多对数计算，并且需要非常小且恒定的存储空间。实验结果表明，即使在这种限制性设置下，我们也能在单次遍历中高效学习，并获得与其他最先进SVM求解器（批处理和在线）相当的精度。我们还对算法进行了分析，并讨论了一些开放问题和可能的扩展。
引用
@article{arxiv.0908.0572,
title = {Streamed Learning: One-Pass SVMs},
author = {Piyush Rai and Hal Daumé and Suresh Venkatasubramanian},
journal= {arXiv preprint arXiv:0908.0572},
year = {2009}
}