使用异步参数服务器计算网络规模主题模型
分布式、并行与集群计算
2017-06-20 v3 信息检索
机器学习
机器学习
摘要
主题模型如隐含狄利克雷分配（LDA）已广泛用于信息检索，任务涵盖平滑和反馈方法到探索性搜索与发现工具。然而，推断主题模型的经典方法无法扩展到当今公开可用的网络规模数据集的庞大尺寸。最先进的方法依赖定制策略、实现和硬件来促进其异步、通信密集型的工作负载。我们提出APS-LDA，它使用一种新颖的异步参数服务器将最先进的主题建模与Spark等集群计算框架集成。这种集成的优势包括方便使用现有数据处理流水线，以及无需磁盘写入，因为数据可以从头到尾保持在内存中。我们的目标不是超越高度定制的实现，而是提出一个通用的高性能主题建模框架，可以轻松用于当今的数据处理流水线。我们将APS-LDA与现有的Spark LDA实现进行比较，并表明我们的系统在480核集群上可以处理多达135倍的数据和10倍的主题，而不会牺牲模型质量。
引用
@article{arxiv.1605.07422,
title = {Computing Web-scale Topic Models using an Asynchronous Parameter Server},
author = {Rolf Jagerman and Carsten Eickhoff and Maarten de Rijke},
journal= {arXiv preprint arXiv:1605.07422},
year = {2017}
}
备注
To appear in SIGIR 2017