基于成对扰动与多扫描维度树的高效并行CP分解
分布式、并行与集群计算
2020-10-26 v1 数值分析
数值分析
摘要
采用交替最小二乘（ALS）的 CP 张量分解在计算代价上由矩阵化张量乘 Khatri-Rao 积（MTTKRP）核主导，该核是建立二次优化子问题所必需的。最先进的并行 ALS 实现使用维度树来避免每次 ALS 扫描中各 MTTKRPs 间的冗余计算。本文提出两种新的并行算法以加速 CP-ALS。我们引入多扫描维度树（MSDT）算法，其每 (N-1)/N 次扫描才需要 N 阶输入张量与首收缩输入矩阵之间的一次缩并。该算法将主导阶计算代价相对于先前已知最优方法降低了 2(N-1)/N 倍。此外，我们引入一种通信效率更高的方式来并行化近似 CP-ALS 算法——成对扰动。该技术使用对子问题的微扰修正而非重新计算缩并，并在渐近意义上加速 ALS。我们的基准测试结果表明，在 Stampede2 超级计算机上运行于 1024 个处理器时，每次扫描时间相对最先进维度树实现，MSDT 获得 1.25 倍加速，成对扰动获得 1.94 倍加速。
引用
@article{arxiv.2010.12056,
title = {Efficient parallel CP decomposition with pairwise perturbation and multi-sweep dimension tree},
author = {Linjian Ma and Edgar Solomonik},
journal= {arXiv preprint arXiv:2010.12056},
year = {2020}
}