中文

有限样本下相位恢复问题的局部景观

信息论 2024-10-15 v2 机器学习 信号处理 math.IT 最优化与控制 统计理论 机器学习 统计理论

摘要

本文对有限样本机制下相位恢复的局部景观进行细粒度分析。具体而言,我们旨在确定保证高维全局极小值附近良性局部景观所需的最小样本量。设 nndd 分别表示样本量与输入维度。我们首先探究局部凸性,并证明当 n=o(dlogd)n=o(d\log d)dd 足够大时,对于局部球内几乎每个不动点,Hessian 矩阵均含负特征值。接着我们考虑单点凸性,表明只要 n=ω(d)n=\omega(d),则以高概率在局部环 {wRd:od(1)wwc}\{w\in\mathbb{R}^d: o_d(1)\leqslant \|w-w^*\|\leqslant c\} 内景观为单点强凸,其中 ww^* 为真实值,cc 为绝对常数。这意味着从该区域内任意点初始化的梯度下降可指数级快速收敛至 od(1)o_d(1)-损失解。进一步,我们证明当 n=o(dlogd)n=o(d\log d) 时,存在 Θ~(1/d)\widetilde\Theta\left(\sqrt{1/d}\right) 半径使得相应更小局部球内单点凸性失效,表明仅依赖单点凸性不可能在有限样本下建立梯度下降至精确 ww^* 的收敛性。

关键词

引用

@article{arxiv.2311.15221,
  title  = {The Local Landscape of Phase Retrieval Under Limited Samples},
  author = {Kaizhao Liu and Zihao Wang and Lei Wu},
  journal= {arXiv preprint arXiv:2311.15221},
  year   = {2024}
}

备注

47 pages, 5 figures. Accepted by IEEE Transactions on Information Theory