无通信并行监督主题模型
机器学习
2017-08-11 v1 计算与语言
信息检索
机器学习
摘要
尴尬并行(无通信)马尔可夫链蒙特卡洛 (MCMC) 方法常用于学习图模型。然而,由于主题的多峰分布导致的准遍历性问题,MCMC 不能直接应用于学习主题模型。在本文中,我们为 sLDA 开发了一种尴尬并行 MCMC 算法。我们的算法通过交换 sLDA 中采样主题组合与标记变量预测的顺序来工作,其中克服了准遍历性问题,因为遵循多峰分布的高维主题被投影到了遵循单峰分布的一维文档标签上。我们的实验证实,使用我们尴尬并行算法的样本外预测性能与非并行 sLDA 相当,同时计算时间显著减少。
引用
@article{arxiv.1708.03052,
title = {Communication-Free Parallel Supervised Topic Models},
author = {Lee Gao and Ronghuo Zheng},
journal= {arXiv preprint arXiv:1708.03052},
year = {2017}
}
备注
8 pages, 7 figures