模样本去噪:k-NN 回归与 SDP 松弛的紧性
统计理论
2021-05-04 v2 最优化与控制
机器学习
统计理论
摘要
许多现代应用涉及获取函数 的含噪模样本,目标为恢复 原始样本的估计。对于 Lipschitz 函数 ,假设给定样本 ,其中 表示噪声。假设 为零均值独立同分布高斯噪声,且 构成均匀网格,我们推导出一种两阶段算法,以高概率成立地以一致误差率 恢复样本 的估计。第一阶段涉及将 points 嵌入单位复圆,并通过 NN(最近邻)估计量获得 的去噪估计。第二阶段涉及顺序解绕过程,将第一阶段的去噪模 估计解绕。随后可利用样本 的估计构造函数 的估计,具有上述一致误差率。最近,Cucuringu 和 Tyagi 提出了另一种对模 数据去噪的方法,其作用于它们在单位复圆上的表示。他们在单位圆的积流形上构造了光滑正则化最小二乘问题,其中光滑性相对于涉及 的邻近图 的拉普拉斯量度量。这是一个非凸二次约束二次规划(QCQP),因此他们提出求解其基于半定规划(SDP)的松弛。我们推导了 SDP 为 QCQP 紧松弛的充分条件。故在这些条件下,QCQP 的全局解可在多项式时间内获得。
引用
@article{arxiv.2009.04850,
title = {Denoising modulo samples: k-NN regression and tightness of SDP relaxation},
author = {Michaël Fanuel and Hemant Tyagi},
journal= {arXiv preprint arXiv:2009.04850},
year = {2021}
}
备注
(i) 38 pages, 6 figures (ii) Revised the manuscript after receiving reviews (iii) Removed Theorem 3(2) and Corollary 3 due to inaccuracies in the proof, main results are unchanged (iv) Added Appendix B (v) Added Section 2.5 for estimating f (Theorem 5)