高维Kolmogorov-Smirnov距离的加速计算
统计计算
2021-06-28 v1 机器学习
摘要
统计检验在众多科学学科中广泛且关键。机器学习的发展和计算能力的提升增加了对多维数据分析与统计检验的兴趣。我们以类似于Fasano（Fasano, 1987）的方式将有力的Kolmogorov-Smirnov双样本检验推广为高维形式。我们称结果为d维Kolmogorov-Smirnov检验（ddKS），并就此给出三项新颖贡献：我们推导了给定ddKS分数的显著性的解析方程；我们提供了在现代计算硬件上计算ddKS的算法，其对小样本量与维度具有常数时间复杂度；我们提供了两种ddKS的近似计算：一种在较大样本量下将时间复杂度降为线性，另一种在维度增加时将时间复杂度降为线性。我们在一组数据集上对ddKS及其近似进行了功效分析，并与其他常见高维双样本检验与距离进行比较：Hotelling的T^2检验与Kullback-Leibler散度。我们的ddKS检验在所有测试的数据集、维度和样本量下表现良好，而其他检验与距离至少在一种数据集上未能拒绝原假设。因此我们得出结论：ddKS是一种适用于通用场景的有力多维双样本检验，并且可利用我们的并行或近似方法快速高效地计算。本工作中所有方法的开源实现位于 https://github.com/pnnl/ddks。
引用
@article{arxiv.2106.13706,
title = {Accelerated Computation of a High Dimensional Kolmogorov-Smirnov Distance},
author = {Alex Hagen and Shane Jackson and James Kahn and Jan Strube and Isabel Haide and Karl Pazdernik and Connor Hainje},
journal= {arXiv preprint arXiv:2106.13706},
year = {2021}
}
备注
Submitted to IEEE Transactions on Pattern Analysis and Machine Intelligence