张量-张量回归的计算与统计保证：基于张量列车分解
机器学习
2025-05-02 v2 信号处理
最优化与控制
摘要
最近提出了张量-张量(ToT)回归模型，以概括标量-张量回归和张量-向量回归等情景。然而，张量复杂度的指数增长为ToT回归的存储和计算带来了挑战。为克服这一障碍，已引入张量分解，其中基于张量列车(TT)的ToT模型因内存需求减少、计算效率提升和抽样复杂度降低而在实际中表现高效。尽管有这些实际优势，但理论分析与实际性能之间仍存在差距。本文我们深入探讨TT基于ToT回归模型的理论与算法方面。假设回归算子满足受限等距性(RIP)，我们对受约束最小二乘优化问题的解进行误差分析。该分析包括上界误差和次下界，揭示此类误差界对阶数多项式依赖。为了高效找到满足此类误差界的解，我们提出两种优化算法：采用梯度下降结合TT奇异值分解(TT-SVD)的迭代硬阈值(IHT)算法，以及基于黎曼梯度下降(RGD)算法的分解方法。当满足RIP时，谱初始化可实现适当初始化，我们确立了IHT和RGD的线性收敛率。
引用
@article{arxiv.2406.06002,
title = {Computational and Statistical Guarantees for Tensor-on-Tensor Regression with Tensor Train Decomposition},
author = {Zhen Qin and Zhihui Zhu},
journal= {arXiv preprint arXiv:2406.06002},
year = {2025}
}
备注
arXiv admin note: text overlap with arXiv:2401.02592