用于学习潜变量模型的在线张量方法
机器学习
2015-10-06 v5 分布式、并行与集群计算
社会与信息网络
机器学习
摘要
我们提出了一种基于在线张量分解的方法，用于解决两个潜变量建模问题：(1) 社区发现，即学习社交网络中社会行动者所属的潜社区；(2) 主题建模，即推断文本文章的隐藏主题。我们考虑使用随机梯度下降 (SGD) 对矩张量进行分解。我们在 SGD 中优化多线性运算，并避免直接构建张量，以节省计算和存储成本。我们在两个平台上展示了优化后的算法。基于 GPU 的实现利用了 SIMD 架构的并行性，通过对存储和数据传输的仔细优化实现了最大加速；而基于 CPU 的实现则使用高效的稀疏矩阵计算，适用于大型稀疏数据集。对于社区发现问题，我们在 Facebook、Yelp 和 DBLP 数据集上展示了准确性和计算效率；对于主题建模问题，我们也在 New York Times 数据集上展示了良好的性能。我们将结果与变分法等最先进 (state-of-the-art) 算法进行了比较，报告了准确性的提升以及执行时间几个数量级的增益。
引用
@article{arxiv.1309.0787,
title = {Online Tensor Methods for Learning Latent Variable Models},
author = {Furong Huang and U. N. Niranjan and Mohammad Umar Hakeem and Animashree Anandkumar},
journal= {arXiv preprint arXiv:1309.0787},
year = {2015}
}
备注
JMLR 2014