面向单峰数据统计分析的 UU-test 方法
机器学习
2021-09-10 v2 机器学习
摘要
判断数据集的单峰性是数据分析与统计建模中的一个重要问题。它有助于获取数据集的结构信息,即数据点是由具有单个峰还是多个峰的概率分布生成的。此类知识对若干数据分析问题非常有用,例如决定聚类数目和确定单峰投影。我们提出一种称为 UU-test(单峰均匀检验)的技术,用于判断一维数据集的单峰性。该方法作用于数据集的经验累积密度函数(ecdf)。它试图构建 ecdf 的分段线性单峰近似,并以对应于各线性段的数据服从均匀分布的意义对数据进行充分建模。该方法的一个独特之处在于,在单峰情形下,它还以均匀混合模型的形式提供数据的统计模型。我们给出实验结果以评估该方法判断单峰性的能力,并与著名的 dip-test 方法进行比较。此外,在单峰数据集情形下,我们使用测试集对数似然与两样本 Kolmogorov-Smirnov(KS)检验评估所提方法给出的均匀混合模型。
引用
@article{arxiv.2008.12537,
title = {The UU-test for Statistical Modeling of Unimodal Data},
author = {Paraskevi Chasani and Aristidis Likas},
journal= {arXiv preprint arXiv:2008.12537},
year = {2021}
}
备注
32 pages, 20 figures, 6 tables