k-NN 回归对局部本征维度的自适应性
机器学习
2011-10-20 v1
摘要
最近许多非参数回归器被证明以仅依赖于数据本征维度的速率收敛。因此，当高维数据具有低本征维度（例如流形）时，这些回归器能够避免维度灾难。我们证明了 k-NN 回归也对本征维度具有自适应性。特别地，我们的收敛速率是相对于查询点 x 局部的，并且仅依赖于以 x 为中心的球体质量如何随半径变化。此外，我们展示了一种在任何 x 处局部选择 k = k(x) 的简单方法，以便在 x 附近未知本征维度的情况下，几乎达到 x 处的极小极大速率。我们还证明了极小极大速率不依赖于度量空间或分布的特定选择，而是该极小极大速率对任何度量空间和加倍测度都成立。
引用
@article{arxiv.1110.4300,
title = {k-NN Regression Adapts to Local Intrinsic Dimension},
author = {Samory Kpotufe},
journal= {arXiv preprint arXiv:1110.4300},
year = {2011}
}