WarpLDA：一种用于隐狄利克雷分配的缓存高效 O(1) 算法
机器学习
2016-03-03 v2 分布式、并行与集群计算
信息检索
机器学习
摘要
为隐狄利克雷分配（LDA）开发高效且可扩展的算法在许多应用中受到广泛关注。先前工作已为每令牌开发了 O(1) 的 Metropolis-Hastings 采样方法。然而，由于对参数矩阵的随机访问和频繁的缓存未命中，其性能远未达最优。本文中，我们首先通过随机访问范围（即短时间内随机访问所落入的内存区域大小）仔细分析了现有 LDA 算法的内存访问效率。随后我们开发了 WarpLDA，一种 LDA 采样器，它同时实现了每令牌最优的 O(1) 时间复杂度和最优的 O(K) 随机访问范围。我们在广泛测试条件下的实证结果表明，WarpLDA 始终比基于 Metropolis-Hastings 的当前最优 LightLDA 快 5-15 倍，且与稀疏感知的 F+LDA 相当或更快。借助 WarpLDA，用户可在几小时内从数亿文档中学习多达一百万个主题，达到每秒 11G 令牌的空前吞吐量。
引用
@article{arxiv.1510.08628,
title = {WarpLDA: a Cache Efficient O(1) Algorithm for Latent Dirichlet Allocation},
author = {Jianfei Chen and Kaiwei Li and Jun Zhu and Wenguang Chen},
journal= {arXiv preprint arXiv:1510.08628},
year = {2016}
}