基于移除-重生更新的数据流高效直接在线量化方法
机器学习
2023-12-27 v2 数据库
摘要
联网设备的增长导致数据生成呈指数级上升,给高效数据分析带来重大挑战。这些数据持续生成,形成称为数据流的动态流。数据流的特征可能动态变化,此变化称为概念漂移。因此,处理数据流的方法必须高效缩减其体量,同时动态适应这些变化特征。本文提出一种针对概念漂移的简单在线向量量化方法。所提方法通过移除-重生更新识别并替换低获胜概率的单元,从而实现对概念漂移的快速适应。此外,本研究结果表明,即便在概念漂移存在下,所提方法也能生成极少的死单元。本研究还指出,由所提方法计算的某些度量将有助于漂移检测。
引用
@article{arxiv.2306.12574,
title = {An efficient and straightforward online quantization method for a data stream through remove-birth updating},
author = {Kazuhisa Fujita},
journal= {arXiv preprint arXiv:2306.12574},
year = {2023}
}