分布性质的无监督学习可补充人工标注并提升异常检测中的主动学习效率
机器学习
2023-07-19 v1
摘要
通过电子邮件外泄数据对许多组织而言是严重的网络安全威胁。检测数据外泄（异常）模式通常需要标注，大多由人工标注者完成，以减少大量的误报。主动学习（AL）是一种高效标注数据的前景方法，但它需要选择标注案例的高效顺序，并且对于应使用何种评分程序来优先标注案例存在不确定性，尤其在检测罕见关注案例至关重要时。我们提出一种自适应 AL 采样策略，利用底层先验数据分布以及模型不确定性，产生包含罕见异常实例的待标注案例批次。我们表明：（1）分类器受益于包含正常与异常示例的代表性和信息性实例批次；（2）在无监督异常检测在训练早期标注相对较少时，对构建分类器起到有益作用。我们的异常检测 AL 方法在三个高度不平衡的 UCI 基准和一个真实脱敏电子邮件数据集上优于现有 AL 方法。
引用
@article{arxiv.2307.08782,
title = {Unsupervised Learning of Distributional Properties can Supplement Human Labeling and Increase Active Learning Efficiency in Anomaly Detection},
author = {Jaturong Kongmanee and Mark Chignell and Khilan Jerath and Abhay Raman},
journal= {arXiv preprint arXiv:2307.08782},
year = {2023}
}