SUOD：面向可扩展的无监督异常检测
机器学习
2020-02-11 v1 信息检索
机器学习
摘要
异常检测是机器学习中用于识别异常数据对象的关键领域。由于获取真实标签成本高昂，实践中常选择无监督模型。为弥补无监督算法的不稳定特性，来自金融、医疗和安全等高风险领域的从业者倾向于构建大量模型以进一步组合与分析。然而，这在高维大型数据集中带来了可扩展性挑战。本研究中，我们提出一个名为SUOD的三模块加速框架，以加速大量无监督检测模型的训练与预测。SUOD的随机投影模块可为高维数据集生成较低子空间，同时保留其距离关系。平衡并行调度模块能以高置信度预测模型的训练与预测开销——从而任务调度器可在工作节点间分配近乎均等的工作量以实现高效并行。SUOD还配备伪监督近似模块，该模块可通过较低时间复杂度的监督回归器近似已拟合的无监督模型，从而对未见数据快速预测。这可视为一种无监督模型知识蒸馏过程。值得注意的是，所有三个模块相互独立且极具灵活性以“混搭”；可基于用例选择模块组合。在30多个基准数据集上的大量实验已展示SUOD的效能，并给出了全面的未来发展计划。
引用
@article{arxiv.2002.03222,
title = {SUOD: Toward Scalable Unsupervised Outlier Detection},
author = {Yue Zhao and Xueying Ding and Jianing Yang and Haoping Bai},
journal= {arXiv preprint arXiv:2002.03222},
year = {2020}
}
备注
In AAAI-20 Workshop on Artificial Intelligence for Cyber Security (AICS)