基于推理的异常检测框架：面向多个领域的实时、可扩展与自动化方法

在大规模分布式系统中检测异常存在诸多挑战。首先，需处理海量数据。高吞吐环境下的异常检测需要仔细考虑算法与系统设计。其次，来自异构时间序列数据集的多样性带来挑战。在实际应用中，异常检测系统很少只用于单一用例。通常需要监控多个指标，甚至跨越多个领域（如工程、业务和运营）。单一方法很难适用，这些系统需要针对每个应用进行微调——这往往需要人工完成。最后，确定异常根源类似于在 haystack 中寻找针。实时识别与异常时间序列数据相关联且在因果上产生关联的时间序列数据集是极其困难的。在本文中，我们描述了一个统一框架以应对这些挑战。基于推理的异常检测框架 (RADF) 设计用于对超大规模数据集进行实时异常检测。该框架采用一种新颖技术 (mSelect)，自动为每个用例选择算法并调整超参数。最后，它集成了后检测功能，实现快速分流和根源确定。我们的广泛实验表明，RADF 以 mSelect 为驱动，在 9 个公开基准数据集中，AUC 性能超过最新的异常检测模型，其中在 5 个数据集上表现更佳。RADF 在 7 个数据集上实现了超过 0.85 的 AUC 成绩，此成绩在任何其他最新模型中均无人能及。