面向极速大规模分类的GPU加速原始问题学习
机器学习
2020-10-16 v2 分布式、并行与集群计算
定量方法
机器学习
摘要
求解L2正则化原始问题（如逻辑回归与线性支持向量机（SVM）分类）最高效的方法之一是广泛使用的信赖域牛顿算法TRON。尽管近期已证明TRON在共享内存多核系统上可获得显著加速，但由于该算法高度复杂且高度串行，利用图形处理单元（GPU）加速该方法则困难得多。本工作中，我们表明借助审慎的GPU优化原则，可大幅缩减TRON针对不同损失函数与特征表示的训练时间。对于稀疏特征集，我们表明在LIBLINEAR中使用GPU训练逻辑回归分类器比仅用多线程快达一个数量级。对于稠密特征集——其带来更严苛的内存约束——我们表明GPU大幅缩减了最先进蛋白质组学分析所需的冗长SVM学习时间，较近期提出的加速方案有显著改进。此外，我们展示了如何将GPU加速与多线程混合，以在数据集过大超出GPU内存需求时实现此类加速；在近乎2.5亿数据实例的巨型稠密蛋白质组学数据集上，这些混合架构加速将SVM分析时间从超半周缩减至不到一天，且仅占用有限GPU内存。
引用
@article{arxiv.2008.03433,
title = {GPU-Accelerated Primal Learning for Extremely Fast Large-Scale Classification},
author = {John T. Halloran and David M. Rocke},
journal= {arXiv preprint arXiv:2008.03433},
year = {2020}
}
备注
34th Conference on Neural Information Processing Systems (NeurIPS 2020), Vancouver, Canada