中文

模样本去噪:k-NN 回归与 SDP 松弛的紧性

统计理论 2021-05-04 v2 最优化与控制 机器学习 统计理论

摘要

许多现代应用涉及获取函数 ff 的含噪模样本,目标为恢复 ff 原始样本的估计。对于 Lipschitz 函数 f:[0,1]dRf:[0,1]^d \to \mathbb{R},假设给定样本 yi=(f(xi)+ηi)mod1;i=1,,ny_i = (f(x_i) + \eta_i)\bmod 1; \quad i=1,\dots,n,其中 ηi\eta_i 表示噪声。假设 ηi\eta_i 为零均值独立同分布高斯噪声,且 xix_i 构成均匀网格,我们推导出一种两阶段算法,以高概率成立地以一致误差率 O((lognn)1d+2)O((\frac{\log n}{n})^{\frac{1}{d+2}}) 恢复样本 f(xi)f(x_i) 的估计。第一阶段涉及将 points 嵌入单位复圆,并通过 kkNN(最近邻)估计量获得 f(xi)mod1f(x_i)\bmod 1 的去噪估计。第二阶段涉及顺序解绕过程,将第一阶段的去噪模 11 估计解绕。随后可利用样本 f(xi)f(x_i) 的估计构造函数 ff 的估计,具有上述一致误差率。最近,Cucuringu 和 Tyagi 提出了另一种对模 11 数据去噪的方法,其作用于它们在单位复圆上的表示。他们在单位圆的积流形上构造了光滑正则化最小二乘问题,其中光滑性相对于涉及 xix_i 的邻近图 GG 的拉普拉斯量度量。这是一个非凸二次约束二次规划(QCQP),因此他们提出求解其基于半定规划(SDP)的松弛。我们推导了 SDP 为 QCQP 紧松弛的充分条件。故在这些条件下,QCQP 的全局解可在多项式时间内获得。

关键词

引用

@article{arxiv.2009.04850,
  title  = {Denoising modulo samples: k-NN regression and tightness of SDP relaxation},
  author = {Michaël Fanuel and Hemant Tyagi},
  journal= {arXiv preprint arXiv:2009.04850},
  year   = {2021}
}

备注

(i) 38 pages, 6 figures (ii) Revised the manuscript after receiving reviews (iii) Removed Theorem 3(2) and Corollary 3 due to inaccuracies in the proof, main results are unchanged (iv) Added Appendix B (v) Added Section 2.5 for estimating f (Theorem 5)