层次狄利克雷过程主题模型的稀疏并行训练
机器学习
2020-10-07 v2 计算与语言
信息检索
机器学习
摘要
为使概率主题模型（如隐狄利克雷分配）的非参数扩展扩展到更大数据集，从业者日益依赖并行与分布式系统。在本工作中，我们研究层次狄利克雷过程（HDP）主题模型的数据并行训练。基于 HDP 中某些条件分布的表示，我们提出一种用于 HDP 主题模型的双重稀疏数据并行采样器。该采样器利用了自然语言中所有可用的稀疏性来源——这是使计算高效的重要途径。我们在一个知名语料库（PubMed）上以 800 万文档和 7.68 亿词元对方法进行基准测试，在单台多核机器上于四天内完成。
引用
@article{arxiv.1906.02416,
title = {Sparse Parallel Training of Hierarchical Dirichlet Process Topic Models},
author = {Alexander Terenin and Måns Magnusson and Leif Jonsson},
journal= {arXiv preprint arXiv:1906.02416},
year = {2020}
}