DeepHYDRA：面向动态配置系统的时间序列异常检测
机器学习
2024-05-14 v1 人工智能
分布式、并行与集群计算
摘要
分布式系统（如高性能计算集群）的异常检测对于早期故障检测、性能优化、安全监控和整体可靠性至关重要，但也提供了操作洞察。深度神经网络在检测来自工业或医疗系统或气象预报等多维数据的长期异常方面取得了成功。然而，这些方法的缺点是需要静态输入尺寸，或通过裁剪、抽样或其他降维方法丢失数据，使得在数据通道可变的系统（如计算集群）部署困难。为此，我们提出DeepHYDRA（Deep Hybrid DBSCAN/Reduction-Based Anomaly Detection），即结合 DBSCAN 和基于学习的异常检测方法。DBSCAN 聚类用于在时间序列数据中寻找点异常，缓解因将输入数据降维为固定通道数而可能遗漏离群值的风险。随后应用深度学习基于时间序列的异常检测方法，以识别长期离群值。这种混合方法减少了通过降维过程将异常难以与正常数据区分的可能性，同时使算法具有可扩展性和对部分系统故障的容错性，同时保持检测能力。使用子集 SMD 数据集族、修改后的 Eclipse 数据集以及本工作公开的大量活跃数据通道可变性的数据集，我们进一步分析了计算强度、内存占用和激活计数。DeepHYDRA 在大型复杂数据集中可靠检测不同类型的异常。
引用
@article{arxiv.2405.07749,
title = {DeepHYDRA: Resource-Efficient Time-Series Anomaly Detection in Dynamically-Configured Systems},
author = {Franz Kevin Stehle and Wainer Vandelli and Giuseppe Avolio and Felix Zahn and Holger Fröning},
journal= {arXiv preprint arXiv:2405.07749},
year = {2024}
}