面向大规模线性支持向量机的 b-位最小哈希
机器学习
2015-03-19 v1 应用统计
统计计算
机器学习
摘要
本文提出将 b-位最小哈希与线性支持向量机（SVM）无缝集成，以在几乎不损失精度的情况下，利用更小的内存显著提升训练（和测试）效率。理论上，我们证明了相似度矩阵、最小哈希矩阵和 b-位最小哈希矩阵均为正定矩阵（核）。有趣的是，我们对 b-位最小哈希核正定性的证明自然地提出了一种将 b-位哈希与线性 SVM 集成的简单策略。当数据无法全部载入内存时，我们的技术尤为有用，而这在大规模机器学习中正成为一个日益严峻的问题。我们在一个公开可用的网络垃圾邮件数据集（35 万个样本，1600 万维特征）上的初步实验结果验证了该算法的有效性。例如，训练时间缩短至仅需数秒。此外，我们的技术可以轻松扩展到许多其他线性和非线性机器学习应用中，如逻辑回归。
引用
@article{arxiv.1105.4385,
title = {b-Bit Minwise Hashing for Large-Scale Linear SVM},
author = {Ping Li and Joshua Moore and Christian Konig},
journal= {arXiv preprint arXiv:1105.4385},
year = {2015}
}