从距离集中与流形效应解读维度灾难
机器学习
2025-03-21 v3 数据结构与算法
摘要
随着维度的增加，数据的分布和异质性等特征变得更加复杂且违背直觉。这种现象被称为维度灾难，即在低维空间中成立的常见模式和关系（例如内部模式和边界模式）在高维空间中可能失效。它导致回归、分类或聚类模型或算法的性能下降。维度灾难可归因于许多原因。在本文中，我们首先总结了处理高维数据相关的潜在挑战，并解释了回归、分类或聚类任务失败的可能原因。随后，我们通过理论和实证分析，深入探讨了维度灾难的两个主要原因：距离集中和流形效应。结果表明，随着维度的增加，使用三种经典距离度量（Minkowski 距离、Chebyshev 距离和余弦距离）的最近邻搜索（NNS）变得毫无意义。同时，数据包含更多冗余特征，且主成分分析（PCA）的方差贡献向少数维度倾斜。
引用
@article{arxiv.2401.00422,
title = {Interpreting the Curse of Dimensionality from Distance Concentration and Manifold Effect},
author = {Dehua Peng and Zhipeng Gui and Huayi Wu},
journal= {arXiv preprint arXiv:2401.00422},
year = {2025}
}
备注
21 pages, 10 figures