基于人类感知原理的异常检测

在统计与无监督机器学习领域，异常检测是一个基础且被充分研究的问题。异常难以定义，然而已提出许多算法。这些方法背后模糊的认识是：异常是稀有的、不寻常的或与大多数数据不一致的。本工作提供了一项哲学论述以清晰定义异常，并开发了一种仅需极少用户干预即可高效检测的算法。受格式塔心理学派与亥姆霍兹人类感知原理的启发，异常被假定为相对于大多数数据所做出的某些分组而言意外发生的观测。在适当的随机变量建模下，通过对观测构成元素的分布作均匀且独立的随机假设，可直接在一组数据中找到异常，其中异常对应于这样一些观测：在给定视图中元素出现次数的期望小于 1。从人类感知基本原理出发，开发了一种简单、实时且无参数的无监督异常检测算法。实验表明，对于单变量数据它是一个有竞争力的选择，并在多变量数据的全局异常检测中取得了有前景的结果。