一种带重要性采样的块随机化随机方法用于 CP 张量分解
数值分析
2023-01-25 v2 数值分析
摘要
计算张量的 CANDECOMP/PARAFAC (CP) 分解的一种流行方法是将该问题转化为一系列具有 Khatri-Rao 积 (KRP) 结构、涉及因子矩阵的超定最小二乘子问题。本文中，基于随机选取因子矩阵，我们针对这些特殊的最小二乘子问题提出了一种带重要性采样的 mini-batch 随机梯度下降方法。给出了两种不同的采样策略。它们可以避免显式地形成完整的 KRP 并直接计算相应概率。同时也给出了该方法的自适应步长版本。对于所提方法，我们给出了其详细的理论性质与全面的数值表现。在合成与真实数据上的结果表明我们的方法优于文献中相应的方法。
引用
@article{arxiv.2103.04081,
title = {A Block-Randomized Stochastic Method with Importance Sampling for CP Tensor Decomposition},
author = {Yajie Yu and Hanyu Li},
journal= {arXiv preprint arXiv:2103.04081},
year = {2023}
}