我罕见吗？一种用于识别隐藏异常的智慧摘要方法
机器学习
2021-12-21 v2 人工智能
摘要
监控网络流量数据以检测任何隐藏的异常模式是一项具有挑战性且耗时的任务，需要高昂的计算资源。为此，一种恰当的摘要技术十分重要，其可替代原始数据。然而，摘要数据面临去除异常的风险。因此，创建能反映与原始数据相同模式的摘要至关重要。为此，本文提出一种用于识别隐藏异常的智能摘要方法，称为 INSIDENT。所提方法保证在摘要数据中保持原始数据分布。我们的方法是一种基于聚类的算法，通过在各簇中局部加权特征，将原始特征空间动态映射到新特征空间。因此，在新特征空间中，相似样本更靠近，从而离群点更易检测。此外，基于簇大小选择代表点使摘要数据保持与原始数据相同的分布。INSIDENT 既可用作异常检测算法前的预处理方法，也可用作异常检测算法本身。在基准数据集上的实验结果证明，数据的摘要可替代异常检测任务中的原始数据。
引用
@article{arxiv.2012.15755,
title = {Am I Rare? An Intelligent Summarization Approach for Identifying Hidden Anomalies},
author = {Samira Ghodratnama and Mehrdad Zakershahrak and Fariborz Sobhanmanesh},
journal= {arXiv preprint arXiv:2012.15755},
year = {2021}
}