使用异步通信的分布式矩阵分解
分布式、并行与集群计算
2017-05-31 v1
摘要
在机器学习中，特别是在推荐系统等领域，使用矩阵分解技术非常普遍。尽管贝叶斯概率矩阵分解算法 (BPMF) 具有高预测精度和避免数据过拟合的能力，但由于其高昂的计算成本，并未在大规模数据上得到广泛应用。本文提出了一种在共享和分布式架构上使用 Gibbs 采样的 BPMF 分布式高性能并行实现。我们展示了通过在单节点上使用工作窃取实现高效负载均衡，以及在分布式版本中使用异步通信，我们超越了当前最先进的实现。
引用
@article{arxiv.1705.10633,
title = {Distributed Matrix Factorization using Asynchrounous Communication},
author = {Tom Vander Aa and Imen Chakroun and Tom Haber},
journal= {arXiv preprint arXiv:1705.10633},
year = {2017}
}
备注
arXiv admin note: substantial text overlap with arXiv:1705.04159