大规模广义张量 CP 分解的惯性加速随机镜像下降法
最优化与控制
2024-02-27 v1
摘要
大多数经典张量 CP 分解模型是为平方损失设计的，采用欧几里得距离作为局部邻近项。然而，欧几里得距离不适用于适用于各类现实世界数据（如整数和二进制数据）的广义损失函数。因此，在平方损失下开发的算法不易适应这些广义损失，部分原因是缺乏梯度 Lipschitz 连续性。本文研究了广义张量 CP 分解。我们使用 Bregman 距离作为邻近项，并提出了一种惯性加速块随机随机镜像下降算法（iTableSMD）。在更广泛的多块方差减少和惯性加速框架内，我们证明了 iTableSMD 算法产生的子序列具有次线性收敛速率。我们进一步表明，iTableSMD 在期望意义上最多需要 次迭代即可达到 -平稳点，并建立了序列的全局收敛性。在真实数据集上的数值实验表明，我们提出的算法效率高，且性能优于现有的最先进方法。
引用
@article{arxiv.2402.15771,
title = {Inertial Accelerated Stochastic Mirror Descent for Large-Scale Generalized Tensor CP Decomposition},
author = {Zehui Liu and Qingsong Wang and Chunfeng Cui and Yong Xia},
journal= {arXiv preprint arXiv:2402.15771},
year = {2024}
}