弹性网络到支持向量机的约简及其在GPU计算中的应用
机器学习
2014-09-09 v1 机器学习
摘要
过去几年中，许多专门的开源项目构建并维护了支持向量机（SVM）的实现，这些实现针对GPU、多核CPU和分布式系统进行了并行化。到目前为止，尽管弹性网络在遗传学、神经科学和系统生物学等许多高影响力应用中很受欢迎，但还没有类似的工作来并行化弹性网络。本文的第一个贡献是理论性的。我们在两个看似不同的算法之间建立了紧密联系，并证明了弹性网络回归可以约简为具有平方铰链损失分类的SVM。我们的第二个贡献是基于这种约简推导出一个实用算法。该约简使我们能够利用先前在加速和并行化SVM方面的努力，为弹性网络和Lasso获得一个高度优化且并行的求解器。通过一个仅包含11行MATLAB代码的简单封装，我们获得了一个自然利用GPU和多核CPU的弹性网络实现。我们在12个真实世界数据集上证明，我们的算法与流行的（且高度优化的）glmnet实现产生相同的结果，但速度快一个或几个数量级。
引用
@article{arxiv.1409.1976,
title = {A Reduction of the Elastic Net to Support Vector Machines with an Application to GPU Computing},
author = {Quan Zhou and Wenlin Chen and Shiji Song and Jacob R. Gardner and Kilian Q. Weinberger and Yixin Chen},
journal= {arXiv preprint arXiv:1409.1976},
year = {2014}
}
备注
10 pages