面向大数据 SVM 训练的分布式加权参数平均
机器学习
2015-10-01 v1
摘要
大数据上 SVM 分布式训练的两种流行方法是参数平均和 ADMM。参数平均高效，但随着分区数量增加精度下降，而特征空间中的 ADMM 精确但收敛缓慢。本文提出一种称为加权参数平均(WPA)的混合方法，其针对参数的权重优化正则化铰链损失。该问题被证明等同于在投影空间中求解 SVM。我们还利用新颖的证明技术展示了 WPA 给出的最终假设的 稳定性界。在多种玩具和真实世界数据集上的实验结果表明，对于高分区数量，我们的方法比参数平均精确得多。同时观察到，与特征空间中的 ADMM 相比，所提方法享有更快的收敛速度。
引用
@article{arxiv.1509.09030,
title = {Distributed Weighted Parameter Averaging for SVM Training on Big Data},
author = {Ayan Das and Sourangshu Bhattacharya},
journal= {arXiv preprint arXiv:1509.09030},
year = {2015}
}