一般有限维空间中基于最近邻规则的分类:充要条件
统计理论
2014-11-06 v2 机器学习
统计理论
摘要
给定一个联合分布未知的随机向量 样本 ,监督分类这一长期存在的问题旨在对新观测值 的标签 进行\textit{最优}预测。在此背景下,最近邻规则是非参数情形中一种流行、灵活且直观的方法。尽管该算法在机器学习和统计学界被广泛使用,但对其在一般有限维空间中的预测能力,尤其是当观测值密度的支撑集为 时,人们所知甚少。本文致力于研究最近邻规则在各种情形下的统计性质。我们特别关注 的边缘分布,以及\textit{回归函数} 的光滑性和间隔性质。我们确定了两个充要条件,用以获得分类的一致收敛速率,并在最近邻规则情形下推导出精确估计。文末给出了一些数值实验以辅助说明相关讨论。
引用
@article{arxiv.1411.0894,
title = {Classification with the nearest neighbor rule in general finite dimensional spaces: necessary and sufficient conditions},
author = {Sébastien Gadat and Thierry Klein and Clément Marteau},
journal= {arXiv preprint arXiv:1411.0894},
year = {2014}
}
备注
53 Pages, 3 figures