中文

将反馈融入基于树的异常检测

机器学习 2017-09-01 v1 人工智能 机器学习

摘要

异常检测器常用于生成统计异常的排序列表,由人类分析师检查以提取实际感兴趣的异常。遗憾的是,在真实应用中,由于高排名异常中很大一部分是假阳性且从应用角度看并无意义,这一过程对分析师而言可能极其困难。本文旨在通过允许分析师在调查过程中提供反馈,来简化分析师的工作。理想情况下,反馈以某种方式影响异常检测器的排序,从而减少在发现感兴趣异常之前必须检查的假阳性数量。特别地,我们引入了一种将简单二元反馈融入基于树的异常检测器的新技术。我们聚焦于孤立森林(Isolation Forest)算法作为代表性基于树的异常检测器,并表明与未融入反馈的基线算法相比,我们通过融入反馈能显著提升其性能。我们的技术简单且随数据规模增大而良好扩展,这使其适用于大型数据集中的交互式异常发现。

关键词

引用

@article{arxiv.1708.09441,
  title  = {Incorporating Feedback into Tree-based Anomaly Detection},
  author = {Shubhomoy Das and Weng-Keen Wong and Alan Fern and Thomas G. Dietterich and Md Amran Siddiqui},
  journal= {arXiv preprint arXiv:1708.09441},
  year   = {2017}
}

备注

8 Pages, KDD 2017 Workshop on Interactive Data Exploration and Analytics (IDEA'17), August 14th, 2017, Halifax, Nova Scotia, Canada