中文

广义低秩矩阵感知的渐近正态性:基于黎曼几何的分析

机器学习 2025-02-14 v2 机器学习

摘要

我们为广义低秩矩阵感知问题提供渐近正态性保证,即在一般凸损失函数 ˉ(X,M,y)\bar\ell(\langle X,M\rangle,y^*) 下进行矩阵感知,其中 MRd×dM\in\mathbb{R}^{d\times d} 为未知秩-kk 矩阵,XX 为测量矩阵,yy^* 为对应的测量值。我们的分析依赖于黎曼几何工具来处理由于参数空间中旋转对称性导致的 Hessian 退化问题。具体而言,我们通过参数化 θˉθˉ\bar\theta\bar\theta^\top 来描述低秩矩阵的流形,其中 θˉRd×k\bar\theta\in\mathbb{R}^{d\times k}。在假设经验损失函数的最小值 θˉ0Rd×k\bar\theta^0\in\mathbb{R}^{d\times k} 位于真实参数 θˉ\bar\theta^* 周围常数大小的球内的前提下,我们证明 n(ϕ0ϕ)DN(0,(H)1) \sqrt{n}(\phi^0-\phi^*)\xrightarrow{D}N(0,(H^*)^{-1}) nn\to\infty 时,其中 ϕ0\phi^0ϕ\phi^* 分别是 θˉ\bar\theta^*θˉ0\bar\theta^0 在黎曼商流形 Rd×k/O(k)\mathbb{R}^{d\times k}/\text{O}(k) 的水平空间中的表示,HH^* 为该表示下真实损失函数的 Hessian。

关键词

引用

@article{arxiv.2407.10238,
  title  = {Asymptotic Normality of Generalized Low-Rank Matrix Sensing via Riemannian Geometry},
  author = {Osbert Bastani},
  journal= {arXiv preprint arXiv:2407.10238},
  year   = {2025}
}