基于等强度 k-means 空间划分的概念漂移检测
机器学习
2020-08-11 v1 机器学习
摘要
数据流给统计分类任务带来了额外挑战，因为随着时间推移，训练样本与目标样本的分布可能不同。流数据中的这种分布变化称为概念漂移。已有众多基于直方图的分布变化检测方法来检测漂移。大多数直方图基于网格或树的空间划分算法构建，这使得空间划分任意、不可解释，并可能导致漂移盲点。有必要在无监督设定下提高基于直方图方法的漂移检测精度。为解决该问题，我们提出了一种基于聚类的直方图，称为等强度 k-means 空间划分（EI-kMeans）。此外，引入了一种启发式方法来提高漂移检测的灵敏度。提高灵敏度的核心思想是最小化在分布偏移区域创建划分的风险。Pearson 卡方检验被用作统计假设检验，使得检验统计量独立于样本分布。对检测漂移能力有强烈影响的 bin 的数量及其形状，基于卡方检验中的渐近约束从样本中动态确定。相应地，开发了三种算法来实现概念漂移检测，包括贪心质心初始化算法、聚类放大-收缩算法和漂移检测算法。对于漂移适应，我们建议若检测到漂移则重新训练学习器。在合成与真实世界数据集上的实验结果表明了 EI-kMeans 的优势，并展示了其在检测概念漂移中的有效性。
引用
@article{arxiv.2004.11587,
title = {Concept Drift Detection via Equal Intensity k-means Space Partitioning},
author = {Anjin Liu and Jie Lu and Guangquan Zhang},
journal= {arXiv preprint arXiv:2004.11587},
year = {2020}
}