典型却不寻常、正常却反常：高维统计背后的直觉
统计方法学
2023-12-27 v2 应用统计
摘要
从通俗意义上说，正常性在历史上一直被视为一种理想特质，与完美同义。算术平均，以及由此延伸的包括线性回归系数在内的统计量，常被用来刻画正常性，并常被用作概括样本和识别离群值的方法。我们提供了此类统计量在高维中行为的直觉解释，并证明即使对于维数相对较低的 dataset，数据也会表现出若干奇异性，且随着维数增加变得严重。虽然我们的主要目标是使研究者熟悉这些奇异性，我们也表明正常性可更好地用“典型性”（一个与熵相关的信息论概念）来刻画。将典型性应用于关于政治价值的合成与真实世界数据，揭示出在多维权空间中，“正常”实际上是“非典型”的。我们简要探讨了其对离群值检测的启示，展示了典型性相较于流行的马氏距离（Mahalanobis distance），代表了一种可行的离群值检测方法。
引用
@article{arxiv.2211.00338,
title = {Typical Yet Unlikely and Normally Abnormal: The Intuition Behind High-Dimensional Statistics},
author = {Matthew J. Vowels},
journal= {arXiv preprint arXiv:2211.00338},
year = {2023}
}