Dip 检验体系的扩展——面向聚类的高效可微 p 值计算
机器学习
2025-04-04 v2 人工智能
机器学习
摘要
在过去十年中，单峰性的 Dip 检验在数据挖掘界引起了越来越多的关注，因为它是一种无参数的统计检验，能够可靠地评估一维样本的峰态性。它返回一个所谓的 Dip 值以及样本单峰性对应的概率（Dip-p 值）。这两个值之间呈 S 型关系。然而，具体的变换依赖于样本大小。许多基于 Dip 的聚类算法使用自举查找表，为某些有限数量的样本大小将 Dip 值转换为 Dip-p 值。我们提出了一种专门设计的 S 型函数作为这些最先进的查找表的替代。这加速了计算，并为每一个样本大小提供了 Dip 值到 Dip-p 值变换的近似。此外，它是可微的，因此可以轻松集成到使用梯度下降的学习方案中。我们通过在一个名为 Dip'n'Sub 的新型子空间聚类算法中利用我们的函数来展示这一点。我们在大量实验中突出了我们方案的各种优势。
引用
@article{arxiv.2312.12050,
title = {Extension of the Dip-test Repertoire -- Efficient and Differentiable p-value Calculation for Clustering},
author = {Lena G. M. Bauer and Collin Leiber and Christian Böhm and Claudia Plant},
journal= {arXiv preprint arXiv:2312.12050},
year = {2025}
}