通过Sketching的快速可保证张量分解
机器学习
2015-10-21 v2 机器学习
摘要
张量CANDECOMP/PARAFAC (CP)分解在潜变量模型的统计学习与数据挖掘中有广泛应用。本文提出基于sketching的快速随机化张量CP分解算法。我们建立在计数草图(count sketches)思想之上，但引入了诸多张量特有的新思路。我们发展了通过FFT随机计算张量缩并的新方法，而无需显式形成张量。此类张量缩并出现在诸如张量幂迭代与交替最小二乘等分解方法中。我们还设计了针对对称张量的新型碰撞哈希，以进一步节省草图计算时间。随后我们将这些sketching思想与现有的白化及张量幂迭代技术结合，从而在稀疏与稠密张量上均获得最快算法。我们方法的近似质量不依赖于稀疏性、元素均匀性等性质。我们将该方法应用于主题建模并获得了有竞争力的结果。
引用
@article{arxiv.1506.04448,
title = {Fast and Guaranteed Tensor Decomposition via Sketching},
author = {Yining Wang and Hsiao-Yu Tung and Alexander Smola and Animashree Anandkumar},
journal= {arXiv preprint arXiv:1506.04448},
year = {2015}
}
备注
29 pages. Appeared in Proceedings of Advances in Neural Information Processing Systems (NIPS), held at Montreal, Canada in 2015