SGD_Tucker：一种面向并行稀疏Tucker分解的新型随机优化策略
分布式、并行与集群计算
2020-12-09 v2
摘要
稀疏Tucker分解（STD）算法通过学习一个核心张量和一组因子矩阵，为高阶、高维、稀疏张量（HOHDST）获得最优的低秩表示特征。然而，现有的STD算法面临中间变量爆炸的问题，其原因在于这些变量（即Khatri-Rao积、Kronecker积和矩阵-矩阵乘法）的形成遵循稀疏张量中的全部元素。上述问题阻碍了高效计算与大数据平台的深度融合。为克服该瓶颈，本文提出一种用于STD的新型随机优化策略（SGD_Tucker），该策略可自动将高维中间变量划分为小批量中间矩阵。具体而言，SGD_Tucker仅遵循随机选取的小样本而非全部元素，同时保持整体精度与收敛速率。在实践中，SGD_Tucker相较现有最优方法具有两项显著优势。第一，SGD_Tucker可在分布式环境下削减核心张量的通信开销。第二，SGD_Tucker的低数据依赖性支持细粒度并行化，使其在相同精度下获得更低的计算开销。实验结果表明，SGD_Tucker的运行速度至少比现有最优方法快2倍。
引用
@article{arxiv.2012.03550,
title = {SGD_Tucker: A Novel Stochastic Optimization Strategy for Parallel Sparse Tucker Decomposition},
author = {Hao Li and Zixuan Li and Kenli Li and Jan S. Rellermeyer and Lydia Y. Chen and Keqin Li},
journal= {arXiv preprint arXiv:2012.03550},
year = {2020}
}