流数据的概念漂移检测
机器学习
2015-05-05 v2 机器学习
摘要
常见的统计预测模型通常要求并假设数据具有平稳性。然而，在许多实际应用中，响应变量与预测变量之间的关系随时间经常发生变化，导致这些模型的预测性能下降。本文提出了线性四率 (Linear Four Rates, LFR) 框架，用于检测这些概念漂移，并随后识别属于新概念的数据点（以便重新学习模型）。与传统的概念漂移检测方法不同，LFR 既可应用于批量数据也可应用于流数据；不受响应变量分布特性的限制（例如标签不平衡的数据集）；独立于底层统计模型；并且使用用户指定的直观易懂的参数。我们将 LFR 的性能与基准方法进行了比较，使用了模拟数据和涵盖各类概念漂移类型的常用公共数据集。结果表明，在各数据集上，LFR 在概念漂移检测的召回率、准确率和延迟方面均显著优于基准方法。
引用
@article{arxiv.1504.01044,
title = {Concept Drift Detection for Streaming Data},
author = {Heng Wang and Zubin Abraham},
journal= {arXiv preprint arXiv:1504.01044},
year = {2015}
}
备注
9 pages, accepted in the International Joint Conference of Neural Networks 2015