基于黎曼优化的可证明张量列格式张量补全
机器学习
2022-03-22 v2 信息论
math.IT
最优化与控制
统计理论
统计理论
摘要
张量列（TT）格式在处理结构化高阶张量方面具有引人注目的优势。近十年来，TT 格式张量在多个学科中得到了广泛应用，其中张量补全引起了相当多的关注。许多快速算法，包括黎曼梯度下降（RGrad），已被提出用于 TT 格式张量补全。然而，这些算法的理论保证大多缺失或次优，部分原因是 TT 格式分解中复杂且递归的代数运算。此外，针对其他格式（例如 Tucker 和 CP）张量建立的现有结果不适用，因为处理 TT 格式张量的算法本质不同且更为复杂。在本文中，我们提供了（据我们所知）首个在近乎最优样本量条件下 RGrad 算法用于 TT 格式张量补全收敛的理论保证。RGrad 算法以恒定的收缩率线性收敛，该收缩率与张量条件数无关，且无需重新条件化。我们还提出了一种称为顺序二阶矩法的新方法，在类似样本量要求下获得热启动初始化。作为副产品，我们的结果甚至显著改进了先前关于矩阵补全的 RGrad 算法研究。最后，若观测项包含随机亚高斯噪声，我们推导了 RGrad 算法的统计（近）最优率。数值实验证实了我们的理论发现，并展示了 TT 格式分解带来的计算加速。
引用
@article{arxiv.2108.12163,
title = {Provable Tensor-Train Format Tensor Completion by Riemannian Optimization},
author = {Jian-Feng Cai and Jingyang Li and Dong Xia},
journal= {arXiv preprint arXiv:2108.12163},
year = {2022}
}