学习能否由鲁棒低秩矩阵恢复中的局部最优性解释?

Jianhao Ma; Salar Fattahi

学习能否由鲁棒低秩矩阵恢复中的局部最优性解释?

机器学习 2025-04-07 v3 最优化与控制

作者: Jianhao Ma , Salar Fattahi

摘要

我们探究低秩矩阵恢复的局部景观,聚焦于从 $m$ 个线性测量(部分可能含噪)中重建秩为 $r$ 的 $d_1\times d_2$ 矩阵 $X^\star$ 。当噪声依异常值模型分布时,以简单次梯度法最小化非光滑 $\ell_1$ 损失常可完美恢复真值矩阵 $X^\star$ 。由此,一个自然问题是何种优化性质(若有)促成了此类学习行为。最似是的答案是真值 $X^\star$ 表现为损失函数的局部最优。本文对此给出强否定回答:在适度假设下,对应于 $X^\star$ 的真解并不作为局部最优出现,而是作为严格鞍点——即至少在一个方向具严格负曲率的临界点。我们的发现挑战了“所有严格鞍点均不可取、应避免”的常规信念。

关键词

低秩矩阵恢复局部最优性鲁棒恢复 $\ell_1$ 损失次梯度法严格鞍点异常值模型学习行为

引用

@article{arxiv.2302.10963,
  title  = {Can Learning Be Explained By Local Optimality In Robust Low-rank Matrix Recovery?},
  author = {Jianhao Ma and Salar Fattahi},
  journal= {arXiv preprint arXiv:2302.10963},
  year   = {2025}
}

学习能否由鲁棒低秩矩阵恢复中的局部最优性解释?

摘要

关键词

引用

相关论文