概念漂移下流式 IoT 通信中的二进制异常检测

随着互联网物联网（IoT）网络流量的不断增长，基于机器学习（ML）的异常检测变得比以往更重要。传统的批量学习模型面临诸多挑战，如高维护成本和难以适应快速变化的异常情况，称为概念漂移（concept drift）。相比之下，流式学习集成了在线学习和增量学习，能够实现无缝更新和概念漂移检测，从而提高鲁棒性。本研究将流式 IoT 通信中的异常检测作为二进制分类问题进行探讨，比较了批量学习和流式学习方法，同时评估了当前 IoT 通信数据集的局限性。我们通过仔细混合现有数据集并逐个样本地进行流式传输来模拟异构网络数据流。我们的结果表明，批量模型在处理概念漂移方面存在失败，但也揭示了当前数据集在暴露模型局限性方面存在持久的局限性 due to 低流量异构性。我们还研究了基于树的 ML 算法的竞争力，这些算法在批量异常检测中广为人知，并与非基于树的算法进行了比较，确认了前者的优势。自适应随机森林（Adaptive Random Forest）在 F1 分数上达到 0.990 ± 0.006，计算成本仅为其批量对手的三分之一。Hoeffding 自适应树（Hoeffding Adaptive Tree）在 F1 分数上达到 0.910 ± 0.007，计算成本降低了四倍，尽管稳定性略有牺牲，但仍为在线应用提供了可行选择。