中文

基于邻域图上拉普拉斯正则化的 Sobolev 空间极小极大最优回归

统计理论 2021-06-04 v1 机器学习 统计理论

摘要

本文研究拉普拉斯平滑(一种基于图的非参数回归方法)的统计性质。在标准正则条件下,我们建立了拉普拉斯平滑估计量 f^\widehat{f} 的误差上界,以及同样基于 f^\widehat{f} 的拟合优度检验的上界。这些上界在一阶 Sobolev 类 H1(X)H^1(\mathcal{X})(其中 XRd\mathcal{X}\subseteq \mathbb{R}^d1d<41 \leq d < 4)上匹配极小极大最优估计与检验收敛速率;在估计问题中,当 d=4d = 4 时,它们除一个 logn\log n 因子外是最优的。此外,我们证明拉普拉斯平滑是流形自适应的:若 XRd\mathcal{X} \subseteq \mathbb{R}^d 是一个 mm 维流形且 m<dm < d,则拉普拉斯平滑的误差速率(在估计或检验中)仅依赖于 mm,方式如同 X\mathcal{X}Rd\mathbb{R}^d 中一个满维集合时一样。

关键词

引用

@article{arxiv.2106.01529,
  title  = {Minimax Optimal Regression over Sobolev Spaces via Laplacian Regularization on Neighborhood Graphs},
  author = {Alden Green and Sivaraman Balakrishnan and Ryan J. Tibshirani},
  journal= {arXiv preprint arXiv:2106.01529},
  year   = {2021}
}