EZLDA：GPU 上高效且可扩展的 LDA
分布式、并行与集群计算
2020-07-20 v1 信息检索
机器学习
摘要
LDA 是一种具有广泛应用的主题建模统计方法。然而，极少有尝试利用具备卓越计算与内存吞吐能力的 GPU 来加速 LDA。为此，我们提出 EZLDA，其在 GPU 上实现高效且可扩展的 LDA 训练，具有以下三点贡献：首先，EZLDA 引入三分支采样方法，利用不同 token 的收敛异质性以减少冗余采样任务。其次，为使 D 与 W 在 GPU 上均支持稀疏感知格式并实现快速采样与更新，我们为 W 引入混合格式，并配套相应的 token 划分至 T 以及倒排索引设计。第三，我们设计分层负载均衡方案以解决 GPU 上极度倾斜的负载不均衡问题，并将 EZLDA 扩展至多 GPU。综上，EZLDA 以更低内存消耗优于最先进的尝试。
引用
@article{arxiv.2007.08725,
title = {EZLDA: Efficient and Scalable LDA on GPUs},
author = {Shilong Wang and Hang Liu and Anil Gaihre and Hengyong Yu},
journal= {arXiv preprint arXiv:2007.08725},
year = {2020}
}