基于层次时间记忆和统计检验的实时数据漂移与异常识别混合框架

数据漂移是指数据生成模型随时间变化的现象。由于数据漂移，基于过去训练数据构建的模型随时间变得不够相关且不准确。因此，检测和控制数据漂移对机器学习模型至关重要。层次时间记忆（HTM）是由 Jeff Hawkins 提出的一种机器学习模型，灵感来自人类大脑处理信息的方式。它是一种受生物学启发的记忆模型，结构类似于皮层，其性能声称相当于在检测时间序列数据异常方面达到最先进水平的模型。HTM 的另一个独特优势是其对训练和测试周期的独立性；所有学习都在流式数据上进行，无需单独的训练和测试周期。在序列学习范式中，序列概率比率检验（SPRT）提供了独特的优势，可用于在线学习和推断。本文提出一种新型混合框架，将 HTM 与 SPRT 结合，用于实时数据漂移检测和异常识别。不同于现有数据漂移方法，我们的方法消除了频繁重新训练的需求，并确保低假阳性率。目前的 HTM 仅能处理一维或单变量数据。在第二项研究中，我们还提出了将 HTM 应用于多维监督场景进行异常检测的方法，通过将多个 HTM 列的输出通过神经网络组合，每个维度对应一个 HTM 列。实验评估表明，所提方法在准确性、适应性和计算效率方面均优于常规漂移检测技术，包括Kolmogorov-Smirnov（KS）检验、Wasserstein 距离和人口稳定性指数（PSI）。我们的实验还提供了关于如何优化超参数以实现 Telecom 等领域实时部署的见解。