核机器的通信高效并行块最小化
机器学习
2016-08-09 v1
摘要
核机器通常在各种任务上产生优越的预测性能；然而，它们面临严重的计算挑战。在本文中，我们展示如何克服加速核机器的重要挑战。特别地，我们开发了用于求解核机器（包括核SVM和核逻辑回归）的并行块最小化框架。我们的框架通过将问题划分为更小的子问题来进行，方法是形成Hessian矩阵的块对角近似。然后子问题被近似并行求解。此后，开发了通信高效的线搜索过程以确保每次迭代目标函数值的充分下降。我们证明了所提方法在广泛子问题求解器下的全局线性收敛速率，并且我们的分析涵盖强凸和一些非强凸函数。我们将算法应用于分布式系统上求解大规模核SVM问题，并展示相比现有并行求解器的显著改进。例如，在具有50万样本的covtype数据集上，我们的算法使用32台机器在20秒内可以获得96%准确率的近似解，而所有其他并行核SVM求解器需要超过2000秒才能达到95%准确率的解。此外，我们的算法可以扩展到非常大的数据集，如具有800万样本和2000万特征的kdd algebra数据集。
引用
@article{arxiv.1608.02010,
title = {Communication-Efficient Parallel Block Minimization for Kernel Machines},
author = {Cho-Jui Hsieh and Si Si and Inderjit S. Dhillon},
journal= {arXiv preprint arXiv:1608.02010},
year = {2016}
}