基于多子空间追踪的在线数据精简

在大规模流数据无处不在的时代,数据的可用性远超人类专家的分析能力。在许多场景中,此类数据要么被丢弃,要么未经处理便存储于数据中心。本文提出了一种在线数据精简方法,通过对大规模流数据集进行筛选,以保留独特、异常或显著的元素供专家及时分析。该方法的核心是一种基于动态低秩高斯混合模型的在线异常检测方法。具体而言,与高斯分量相关联的高维协方差矩阵与低秩模型相关联。根据该模型,大多数观测值位于子空间的并集附近。低秩建模缓解了高维数据异常检测中的维数灾难,而子空间聚类和子空间追踪的最新进展使得该方法能够适应动态环境。此外,该方法支持子采样,对缺失数据具有鲁棒性,并采用小批量在线优化方法。所得算法具有可扩展性和高效性,能够实时运行。在广域运动图像和电子邮件数据库上的实验验证了该方法的有效性。