采用块大小自适应克服概念漂移
机器学习
2021-10-26 v1
摘要
现代分析系统必须准备好处理流数据并正确响应数据分布的变化。数据分布变化的现象称为概念漂移，它可能损害所用模型的质量。此外，概念漂移出现的可能性使得所用算法必须随时准备使模型持续适应变化的数据分布。本工作关注使用分类器集成的非平稳数据流分类。为使集成模型保持最新，新基分类器在 incoming 数据块上训练并加入集成，同时过时模型从集成中移除。此类模型的问题之一是对于数据分布变化的快速反应。我们提出一种新的 Chunk Adaptive Restoration 框架，可适配任意基于块的数据流分类算法。所提算法在检测到概念漂移时调整数据块大小，以最小化变化对所用模型预测性能的影响。辅以统计检验的实验研究证明，Chunk Adaptive Restoration 显著缩短了模型的恢复时间。
引用
@article{arxiv.2110.12881,
title = {Employing chunk size adaptation to overcome concept drift},
author = {Jędrzej Kozal and Filip Guzy and Michał Woźniak},
journal= {arXiv preprint arXiv:2110.12881},
year = {2021}
}