面向大规模主题建模
机器学习
2013-11-19 v1 分布式、并行与集群计算
信息检索
机器学习
摘要
为解决大规模主题建模问题，我们需要降低批量潜在狄利克雷分配 (LDA) 算法的时间和空间复杂度。尽管多处理器架构上的并行 LDA 算法具有较低的时间和空间复杂度，但处理器间的通信成本通常随词汇表大小和主题数量线性增长，导致严重的可扩展性问题。为了降低处理器间的通信复杂度以实现更好的可扩展性，我们提出了一种基于幂律分布的新型通信高效并行主题建模架构，该架构在主题数量较大时可减少数个数量级的通信时间。我们将所提出的通信高效并行架构与在线信念传播 (OBP) 算法相结合，称为 POBP，用于大规模主题建模任务。大量实证结果证实，与多处理器架构上最新的并行 LDA 算法相比，POBP 在解决大规模主题建模问题时具有以下优势：1) 高精度，2) 通信高效，3) 速度快，4) 内存使用恒定。
引用
@article{arxiv.1311.4150,
title = {Towards Big Topic Modeling},
author = {Jian-Feng Yan and Jia Zeng and Zhi-Qiang Liu and Yang Gao},
journal= {arXiv preprint arXiv:1311.4150},
year = {2013}
}
备注
14 pages