高维非参数回归中 Nadaraya-Watson 核估计的 Oracle 性质
统计理论
2017-11-28 v1 统计理论
摘要
著名的 Nadaraya-Watson 核估计是研究最广泛的非参数回归方法之一。一个经典结论是，其收敛速度依赖于协变量个数，并随维数增长迅速恶化，这凸显了“维数灾难”，也限制了其在高维场景中的使用。本文中，我们证明当真实回归函数为单指标或多指标时，Nadaraya-Watson 核估计可缓解维数灾难的影响。具体而言，我们证明在 折交叉验证下，由半正定带宽矩阵索引的 Nadaraya-Watson 核估计具有 oracle 性质：其收敛速度依赖于回归函数的指标个数而非协变量个数。直观上，该 oracle 性质源于允许带宽发散至无穷，而非如以往理论研究那样将其全部限制以特定速率收敛至零。我们的结果为高维非参数回归及预期低秩结构的度量学习等应用中核估计的使用提供了理论视角。通过模拟与真实数据示例给出了数值说明。
引用
@article{arxiv.1711.09200,
title = {An Oracle Property of The Nadaraya-Watson Kernel Estimator for High Dimensional Nonparametric Regression},
author = {Daniel Conn and Gang Li},
journal= {arXiv preprint arXiv:1711.09200},
year = {2017}
}