中文

含噪标准与广义相位恢复问题中经验 $\ell_2$ 风险最小化的误差界

机器学习 2022-06-29 v2 机器学习

摘要

本文研究了在含噪(标准)相位恢复(NPR,给定为 yk=αkx02+ηky_k = |\alpha_k^*x_0|^2+\eta_k)或含噪广义相位恢复(NGPR,表述为 yk=x0Akx0+ηky_k = x_0^*A_kx_0 + \eta_k)中经验 2\ell_2 风险最小化(ERM)的估计性能,其中 x0Kdx_0\in\mathbb{K}^d 为期望信号,nn 为样本量,η=(η1,...,ηn)\eta= (\eta_1,...,\eta_n)^\top 为噪声向量。我们在不同噪声模式下建立了新的误差界,且证明对 K=R\mathbb{K}=\mathbb{R}K=C\mathbb{K}=\mathbb{C} 均成立。在任意噪声向量 η\eta 下的 NPR 中,我们推导出新的误差界 O(ηdn+1ηn)O\big(\|\eta\|_\infty\sqrt{\frac{d}{n}} + \frac{|\mathbf{1}^\top\eta|}{n}\big),其在许多情形下比当前已知的 O(ηn)O\big(\frac{\|\eta\|}{\sqrt{n}}\big) 更紧。在 NGPR 中,我们对任意 η\eta 给出 O(ηdn)O\big(\|\eta\|\frac{\sqrt{d}}{n}\big)。在两问题中,任意噪声的界立即给出亚高斯或亚指数随机噪声下的 O~(dn)\tilde{O}(\sqrt{\frac{d}{n}}),并去除或弱化了某些常规但非本质的假设(如独立或零均值条件)。此外,我们首次尝试在假定具有有界 ll 阶矩的重尾随机噪声下进行 ERM。为在偏差与方差间取得权衡,我们对响应进行截断并提出相应的鲁棒 ERM 估计量,证明其在 NPR 与 NGPR 中均具有保证 O~([dn]11/l)\tilde{O}\big(\big[\sqrt{\frac{d}{n}}\big]^{1-1/l}\big)。所有误差界可直接推广至更一般的秩-rr 矩阵恢复问题,这些结果表明 NGPR 中的满秩框架 {Ak}k=1n\{A_k\}_{k=1}^n 比 NPR 中的秩-1 框架 {αkαk}k=1n\{\alpha_k\alpha_k^*\}_{k=1}^n 对偏置噪声更具鲁棒性。我们给出了大量实验结果以阐明理论发现。

关键词

引用

@article{arxiv.2205.13827,
  title  = {Error Bound of Empirical $\ell_2$ Risk Minimization for Noisy Standard and Generalized Phase Retrieval Problems},
  author = {Junren Chen and Michael K. Ng},
  journal= {arXiv preprint arXiv:2205.13827},
  year   = {2022}
}

备注

44 pages, 6 figures