中文

利用稀疏或生成先验求解含满秩矩阵的二次系统

信息论 2024-10-31 v2 机器学习 信号处理 math.IT 机器学习

摘要

从二次系统 {yi=xAix, i=1,,m}\{y_i=\boldsymbol x^\top\boldsymbol A_i\boldsymbol x,\ i=1,\ldots,m\}(其中 Ai\boldsymbol A_i 为满秩矩阵)中恢复信号 xRn\boldsymbol x\in \mathbb{R}^n 的问题,在未分配距离几何与亚波长成像等应用中频繁出现。对于独立同分布的标准高斯矩阵 Ai\boldsymbol A_i,本文通过引入 x\boldsymbol x 的先验知识来处理 mnm\ll n 的高维情形。首先,我们考虑 kk-稀疏的 x\boldsymbol x,并引入无需稀疏度 kk 的阈值化Wirtinger流(TWF)算法。TWF包含两步:谱初始化在 m=O(k2logn)m=O(k^2\log n) 时确定一个足够接近 x\boldsymbol x(至多符号翻转)的点;阈值化梯度下降在给定良好初始化后,利用 m=O(klogn)m=O(k\log n) 个测量值产生线性收敛至 x\boldsymbol x 的序列。其次,我们探索生成先验,假设 xx 位于一个 LL-Lipschitz连续生成模型的值域中,该模型以 2\ell_2-球半径 rr 内的 kk 维输入为条件。借助与信号相关的估计量,我们开发了投影梯度下降(PGD)算法,同样包含两步:投影幂方法在 m=O(klog(Lnr))m=O(k\log(Lnr)) 个测量下给出具有 O(klogLm)O\big(\sqrt{\frac{k \log L}{m}}\big) 2\ell_2-误差的初始向量;投影梯度下降在 m=O(klogLrnδ2)m=O(k\log\frac{Lrn}{\delta^2}) 时将 2\ell_2-误差以几何速率精炼至 O(δ)O(\delta)。实验结果证实了我们的理论发现,并表明:(i)我们针对稀疏情形的方法显著优于现有可证明算法稀疏幂分解;(ii)利用生成先验可从少量二次测量中在MNIST数据集上精确恢复图像。

关键词

引用

@article{arxiv.2309.09032,
  title  = {Solving Quadratic Systems with Full-Rank Matrices Using Sparse or Generative Priors},
  author = {Junren Chen and Michael K. Ng and Zhaoqiang Liu},
  journal= {arXiv preprint arXiv:2309.09032},
  year   = {2024}
}