SaberLDA：GPU上主题模型的稀疏感知学习
分布式、并行与集群计算
2024-06-21 v2 信息检索
机器学习
机器学习
摘要
潜在狄利克雷分配（LDA）是一种用于分析文本和图像等离散计数数据的流行工具。应用要求LDA能处理大规模数据集和大量主题。尽管分布式CPU系统已被使用，基于GPU的系统因其高计算能力和内存带宽而成为一种有前景的替代方案。然而，现有的基于GPU的LDA系统无法支持大量主题，因为它们使用的算法基于稠密数据结构，其时间和空间复杂度与主题数量呈线性关系。本文提出SaberLDA，一个基于GPU的LDA系统，它实现了稀疏感知算法以达到次线性时间复杂度，并能良好扩展以学习大量主题。为解决稀疏性带来的挑战，我们提出了一种新颖的数据布局、一个新的基于warp的采样内核以及一个高效的稀疏计数矩阵更新算法，这些方法改善了局部性，高效利用了GPU warp，并减少了内存消耗。实验表明，SaberLDA可以从数十亿词元规模的数据中学习多达10,000个主题，这比之前的GPU系统大了近两个数量级。使用单个GPU卡，SaberLDA能在几小时内从数十亿词元的数据集中学习10,000个主题，而这在以前只能通过数十台机器的集群实现。
引用
@article{arxiv.1610.02496,
title = {SaberLDA: Sparsity-Aware Learning of Topic Models on GPUs},
author = {Kaiwei Li and Jianfei Chen and Wenguang Chen and Jun Zhu},
journal= {arXiv preprint arXiv:1610.02496},
year = {2024}
}
备注
13 pages, 12 figures