中文

基于局部测量的非凸张量恢复

机器学习 2024-12-24 v1

摘要

受限于无法感知整个张量的场景,本文提出了一种新颖的张量压缩感知模型,其中仅通过相互独立的矩阵对每个侧面切片进行感知来获取测量值。利用低管秩结构,我们使用两个紧凑的张量因子对未知张量 X{\boldsymbol {\mathcal X}}^\star 进行重新参数化,并将恢复问题表述为非凸最小化问题。为解决该问题,我们首先提出了一种交替最小化算法,称为 \textsf{Alt-PGD-Min},该算法分别使用投影梯度下降和精确最小化步骤迭代优化两个因子。尽管是非凸的,我们证明了 \textsf{Alt-PGD-Min} 在 O(κ2log1ϵ)\mathcal O\left( \kappa^2 \log \frac{1}{\epsilon}\right) 迭代复杂度和 O(κ6rn3logn3(κ2r(n1+n2)+n1log1ϵ))\mathcal O\left( \kappa^6rn_3\log n_3 \left( \kappa^2r\left(n_1 + n_2 \right) + n_1 \log \frac{1}{\epsilon}\right) \right) 样本复杂度下实现了 ϵ\epsilon 精度恢复,其中 κ\kappa 表示 X\boldsymbol{\mathcal X}^\star 的张量条件数。为了进一步加速收敛,特别是当张量病态且 κ\kappa 较大时,我们证明了 \textsf{Alt-ScalePGD-Min} 使用可高效计算的近似 Hessian 矩阵对梯度更新进行预处理。我们表明 \textsf{Alt-ScalePGD-Min} 实现了与 κ\kappa 无关的迭代复杂度 O(log1ϵ)\mathcal O(\log \frac{1}{\epsilon}),并将样本复杂度改进为 O(κ4rn3logn3(κ4r(n1+n2)+n1log1ϵ))\mathcal O\left( \kappa^4 rn_3 \log n_3 \left( \kappa^4r(n_1+n_2) + n_1 \log \frac{1}{\epsilon}\right) \right)。实验验证了所提方法的有效性。

关键词

引用

@article{arxiv.2412.17281,
  title  = {Non-Convex Tensor Recovery from Local Measurements},
  author = {Tongle Wu and Ying Sun and Jicong Fan},
  journal= {arXiv preprint arXiv:2412.17281},
  year   = {2024}
}

备注

The paper was accepted by AAAI 2025