从Khatri-Rao积中快速精确杠杆分数采样及其在张量分解中的应用
数值分析
2024-03-01 v4 数值分析
摘要
我们提出一种数据结构，用于依据其杠杆分数的精确分布从若干矩阵的Khatri-Rao积中随机采样行。我们所提出的采样器以关于Khatri-Rao积高度的对数时间、关于其列数的平方时间抽取每一行，其持久空间开销至多等于输入矩阵的大小。因此，即便构成Khatri-Rao积的矩阵各自具有数千万行，该方法仍可切实地抽取样本。当用于草拟CANDECOMP / PARAFAC张量分解中出现的线性最小二乘问题时，我们的方法在每个求解步骤上的渐近复杂度低于近期最先进的方法。在十亿规模稀疏张量上的实验验证了我们的论断，随着分解秩增大，我们的算法相较竞争方法取得了更高的精度。
引用
@article{arxiv.2301.12584,
title = {Fast Exact Leverage Score Sampling from Khatri-Rao Products with Applications to Tensor Decomposition},
author = {Vivek Bharadwaj and Osman Asif Malik and Riley Murray and Laura Grigori and Aydin Buluc and James Demmel},
journal= {arXiv preprint arXiv:2301.12584},
year = {2024}
}
备注
The 37th Conference on Neural Information Processing Systems (Neurips'23). 28 pages, 10 figures, 6 tables