中文

一般有限维空间中基于最近邻规则的分类:充要条件

统计理论 2014-11-06 v2 机器学习 统计理论

摘要

给定一个联合分布未知的随机向量 nn 样本 (Xi,Yi)1in(X_i,Y_i)_{1 \leq i \leq n},监督分类这一长期存在的问题旨在对新观测值 XX 的标签 YY 进行\textit{最优}预测。在此背景下,最近邻规则是非参数情形中一种流行、灵活且直观的方法。尽管该算法在机器学习和统计学界被广泛使用,但对其在一般有限维空间中的预测能力,尤其是当观测值密度的支撑集为 Rd\mathbb{R}^d 时,人们所知甚少。本文致力于研究最近邻规则在各种情形下的统计性质。我们特别关注 XX 的边缘分布,以及\textit{回归函数} η(X)=E[YX]\eta(X) = \mathbb{E}[Y | X] 的光滑性和间隔性质。我们确定了两个充要条件,用以获得分类的一致收敛速率,并在最近邻规则情形下推导出精确估计。文末给出了一些数值实验以辅助说明相关讨论。

关键词

引用

@article{arxiv.1411.0894,
  title  = {Classification with the nearest neighbor rule in general finite dimensional spaces: necessary and sufficient conditions},
  author = {Sébastien Gadat and Thierry Klein and Clément Marteau},
  journal= {arXiv preprint arXiv:1411.0894},
  year   = {2014}
}

备注

53 Pages, 3 figures