高维空间中的 k-NN 分类器是否受维数灾难影响？
机器学习
2021-02-18 v3
摘要
越来越多的证据表明，高维空间中的精确最近邻搜索在根本上受到维数灾难的影响。这是否意味着基于 k 个最近邻的学习算法（如 k-NN 分类器）也必然如此？我们在多个层面上分析了这一问题，并表明答案在每个层面上都不同。作为我们的第一个主要观察结果，我们证明了 k 近似最近邻分类器的一致性。然而，该分类器在极高维空间中的性能被证明是不稳定的。作为第二个主要观察结果，我们指出，现有的统计学习模型忽略了域维数，因此通过 Borel 同构，每个学习问题都可以普遍一致地确定性归约为一维情形。
引用
@article{arxiv.1110.4347,
title = {Is the k-NN classifier in high dimensions affected by the curse of dimensionality?},
author = {Vladimir Pestov},
journal= {arXiv preprint arXiv:1110.4347},
year = {2021}
}
备注
24 pages, 6 figures, 1 table, latex2e with Elsevier macros. The Introduction is somewhat expanded, one figure added. To appear in a special issue of Computers & Mathematics with Applications