基于马尔可夫链蒙特卡洛方法的受限玻尔兹曼机并行化训练
机器学习
2019-10-16 v1 分布式、并行与集群计算
机器学习
摘要
受限玻尔兹曼机 (RBM) 是一种生成式随机神经网络，可应用于推荐系统所使用的协同过滤技术。RBM 模型的预测精度通常优于其他推荐系统模型。然而，RBM 模型的训练涉及马尔可夫链蒙特卡洛 (MCMC) 方法，计算代价高昂。在本文中，我们成功应用基于 Horovod 框架的分布式并行训练来改进 RBM 模型的训练时间。我们的测试表明，RBM 模型的分布式训练方法具有良好的扩展效率。我们还表明，与单 CPU 节点上的 5 小时相比，该方法在 64 个 CPU 节点上将训练时间有效缩短至略多于 12 分钟。这将使 RBM 模型在推荐系统中更具实际适用性。
引用
@article{arxiv.1910.05885,
title = {Parallelized Training of Restricted Boltzmann Machines using Markov-Chain Monte Carlo Methods},
author = {Pei Yang and Srinivas Varadharajan and Lucas A. Wilson and Don D. Smith and John A Lockman and Vineet Gundecha and Quy Ta},
journal= {arXiv preprint arXiv:1910.05885},
year = {2019}
}