基于置换检验的快速且内存高效的重要模式挖掘
机器学习
2015-02-17 v1
摘要
我们提出了一种新颖的算法 Westfall-Young light，用于检测在两类样本中某一类具有统计学显著富集的模式，如项集和子图。我们的方法通过 Westfall-Young 置换过程严格校正多重假设检验和模式间的相关性，该过程通过置换经验性地估计每个类别中模式频率的零分布。在我们的实验中，在流行的真实世界模式挖掘基准数据集上，Westfall-Young light 在运行时间和内存效率方面均显著优于当前最先进的方法。这种效率的关键在于，与所有现有方法不同，我们的算法既不需要为每次置换重新求解底层的频繁项集挖掘问题，也不需要存储所有频繁模式的出现列表。Westfall-Young light 为在大型数据集上进行重要模式挖掘打开了大门，而这些数据集此前会导致令人望而却步的运行时间或内存成本。
引用
@article{arxiv.1502.04315,
title = {Fast and Memory-Efficient Significant Pattern Mining via Permutation Testing},
author = {Felipe Llinares López and Mahito Sugiyama and Laetitia Papaxanthos and Karsten M. Borgwardt},
journal= {arXiv preprint arXiv:1502.04315},
year = {2015}
}