Factorbird——一种面向分布式矩阵分解的参数服务器方法
机器学习
2014-11-04 v1
摘要
我们提出了 Factorbird，这是一个参数服务器方法的原型，用于通过基于随机梯度下降的算法分解大型矩阵。我们设计 Factorbird 旨在满足以下需求：(a) 可扩展到具有数百亿非零元素的高而宽的矩阵，(b) 可扩展到不同类型的模型和损失函数，只要它们能使用随机梯度下降（SGD）进行优化，(c) 同时适应批处理和流式场景。Factorbird 使用参数服务器以扩展到超出单台机器内存的模型，并采用无锁的 Hogwild! 风格学习，配合一种特殊的分区方案以大幅减少冲突更新。我们还讨论了系统设计的其他方面，例如如何在大规模下高效地进行超参数网格搜索。我们展示了 Factorbird 在一个由 Twitter 交互图子集构建的矩阵上的实验，该矩阵包含超过 380 亿个非零元素以及约 2 亿行和列，据我们所知，这是文献中已报道分解结果的最大矩阵。
引用
@article{arxiv.1411.0602,
title = {Factorbird - a Parameter Server Approach to Distributed Matrix Factorization},
author = {Sebastian Schelter and Venu Satuluri and Reza Zadeh},
journal= {arXiv preprint arXiv:1411.0602},
year = {2014}
}
备注
10 pages. Submitted to the NIPS 2014 Workshop on Distributed Matrix Computations