CSCAD:基于相关结构的复杂系统集体异常检测
机器学习
2021-06-01 v1
摘要
在大型复杂系统中检测异常是一项关键且具有挑战性的任务。困难来自几个方面。首先,在真实系统中收集异常的 ground truth 标签或先验知识很困难,常导致数据集中异常标签有限或无异常标签。其次,由于设备或传感器间的底层依赖结构,大型系统中的异常通常以集体方式发生。最后,高维数据的实时异常检测需要能够处理不同类型数据(即连续与离散)的高效算法。我们提出一种基于相关结构的集体异常检测(CSCAD)模型,用于大型系统中的高维异常检测问题,该模型也可推广至半监督或有监督设置。我们的框架利用图卷积网络结合变分自编码器,联合挖掘样本的特征空间相关性与重构缺陷以执行异常检测。我们提出扩展互信息(EMI)度量来挖掘不同数据特征间的内部相关结构,从而增强 CSCAD 的数据重构能力。从重构网络获得的样本的重构损失与隐空间标准差向量可被视为两种天然的异常程度度量。随后可使用低异常程度样本作为正样本、高异常程度样本作为负样本来训练异常判别网络。在五个公开数据集上的实验结果表明,我们的方法持续优于所有对比基线。
引用
@article{arxiv.2105.14476,
title = {CSCAD: Correlation Structure-based Collective Anomaly Detection in Complex System},
author = {Huiling Qin and Xianyuan Zhan and Yu Zheng},
journal= {arXiv preprint arXiv:2105.14476},
year = {2021}
}