GADGET SVM:一种基于 gossip 的次梯度线性 SVM 求解器
机器学习
2018-12-07 v1 机器学习
摘要
在大数据时代,机器学习研究者武器库中的重要武器是可扩展的支持向量机(SVM)算法。SVM 被广泛用于解决分类问题。传统的 SVM 学习算法通常随训练集大小超线性地扩展,这对于大型数据集很快变得不可行。近年来,可扩展算法已被设计出来,它们研究问题的原始或对偶形式。这常常提示一种分解问题并促进分布式算法开发的方式。在本文中,我们提出了一种用于二分类原始形式线性支持向量机学习的分布式算法,称为基于 Gossip 的次梯度(GADGET)SVM。该算法被设计成可在分布式系统的节点上本地执行。每个节点处理其本地均匀划分的数据并学习一个原始 SVM 模型。然后它与随机邻居 gossip 所学习的分类器,并利用此信息更新模型。广泛的理论与实证结果表明,这种 anytime 算法的性能可与其中央式和在线对应算法相媲美。
引用
@article{arxiv.1812.02261,
title = {GADGET SVM: A Gossip-bAseD sub-GradiEnT Solver for Linear SVMs},
author = {Haimonti Dutta and Nitin Nataraj},
journal= {arXiv preprint arXiv:1812.02261},
year = {2018}
}