中文

严格互补条件下张量核范数低秩张量恢复的一阶方法效率

最优化与控制 2023-08-04 v1 机器学习 机器学习

摘要

我们考虑基于在由张量核范数诱导的球上进行约束最小化来恢复低秩张量的凸松弛,该范数最近在 \cite{tensor_tSVD} 中引入。我们建立在近期一系列考虑低秩矩阵恢复凸松弛的研究之上,这些研究确立了在严格互补条件(SC)下,标准梯度方法的收敛速度和每次迭代运行时间都可能大幅改善。我们针对张量核范数球发展了相应的严格互补条件,并在该条件下得到如下主要结果:1. 当待最小化目标函数为 f(\mX)=g(\mA\mX)+\mC,\mXf(\mX)=g(\mA\mX)+\langle{\mC,\mX}\rangle 形式,其中 gg 为强凸且 \mA\mA 为线性映射(例如最小二乘)时,成立二次增长界,这意味着标准投影梯度法具有线性收敛速率,尽管 ff 不必是强凸的。2. 对于光滑目标函数,当在某个满足 SC 的最优解附近初始化时,标准投影梯度法仅需进行秩匹配该最优解管秩的 SVD 计算(用于投影到张量核范数球上)。特别地,当管秩为常数时,这意味着每次迭代近乎线性(关于张量大小)的运行时间,而非在无进一步假设下的超线性。3. 对于具有广泛使用的光滑鞍点形式的不光滑目标函数,我们针对著名的外梯度法推导了与后者类似的结论。一个可能具有独立意义的额外贡献是,将许多关于任意阶张量的基本结果严格推广,这些结果此前仅对三阶张量获得。

关键词

引用

@article{arxiv.2308.01677,
  title  = {Efficiency of First-Order Methods for Low-Rank Tensor Recovery with the Tensor Nuclear Norm Under Strict Complementarity},
  author = {Dan Garber and Atara Kaplan},
  journal= {arXiv preprint arXiv:2308.01677},
  year   = {2023}
}