基于三重随机梯度的可扩展半监督 SVM
机器学习
2019-07-29 v1 机器学习
摘要
半监督学习(SSL)在大数据时代发挥着日益重要的作用，因为大量无标签样本可被有效利用以提升分类器性能。半监督支持向量机(SVM)是最具吸引力的 SSL 方法之一，但将 SVM 扩展至核学习仍是一个开放问题。近来，双重随机梯度(DSG)算法被提出以达成核方法的高效可扩展训练。然而，DSG 的算法与理论分析基于凸性假设，使其无法胜任 SVM 等非凸问题。为解决该问题，本文提出一种面向 SVM 的三重随机梯度算法，称为 TSGSVM。具体而言，为处理 SVM 中涉及的两种数据实例，TSGSVM 在每次迭代中随机采样一个带标签实例和一个无标签实例以及随机特征，以计算三重随机梯度。我们利用近似梯度更新解。更重要的是，我们为 TSGSVM 建立了新的理论分析，保证其可收敛至驻点。在多个数据集上的大量实验结果表明，TSGSVM 比现有 SVM 算法更高效且更具可扩展性。
引用
@article{arxiv.1907.11584,
title = {Scalable Semi-Supervised SVM via Triply Stochastic Gradients},
author = {Xiang Geng and Bin Gu and Xiang Li and Wanli Shi and Guansheng Zheng and Heng Huang},
journal= {arXiv preprint arXiv:1907.11584},
year = {2019}
}