基于岭杠杆分数采样的快速低秩张量分解
数据结构与算法
2021-07-23 v1 机器学习
统计理论
统计理论
摘要
低秩张量分解推广了低秩矩阵近似,是发现高维数据中低维结构的有力技术。本文研究 Tucker 分解,并利用随机数值线性代数中称为岭杠杆分数(ridge leverage scores)的工具来加速广泛使用的最小二乘交替(ALS)算法中的核心张量更新步骤。更新核心张量(ALS 中的严重瓶颈)是一个高度结构化的岭回归问题,其设计矩阵是因子矩阵的 Kronecker 积。我们展示了如何使用近似岭杠杆分数构造任意岭回归问题的草图实例,使得草图问题的解向量是原实例的 近似。此外,我们表明经典杠杆分数足以作为近似,这使我们能够利用 Kronecker 结构,并在主要取决于秩和草图参数的时间内更新核心张量(即关于输入张量大小的次线性时间)。我们还给出了当设计矩阵的行被移除时(例如张量存在缺失项)岭杠杆分数的上界,并在合成与真实世界数据上展示了我们的近似岭回归算法在大规模低秩 Tucker 分解上的有效性。
引用
@article{arxiv.2107.10654,
title = {Fast Low-Rank Tensor Decomposition by Ridge Leverage Score Sampling},
author = {Matthew Fahrbach and Mehrdad Ghadiri and Thomas Fu},
journal= {arXiv preprint arXiv:2107.10654},
year = {2021}
}
备注
29 pages, 1 figure