基于 RT-DetMCD 的大规模数据集实时离群点检测
统计方法学
2021-01-13 v2
摘要
现代工业机器可在数秒内产生数吉字节的数据，常常逼近可用算力的极限。加之工业处理的时间关键性，这给任何数据分析流程都带来了严峻挑战。我们关注确定性最小协方差行列式方法（DetMCD），该方法通过拟合稳健协方差矩阵来检测离群点。我们通过以两种新方法的初始估计量取代原有估计量，并引入基于更新的集中步骤，构建了快得多的 DetMCD 版本。借助并行计算进一步缩短计算时间，并采用一种新颖的稳健聚合方法合并各线程结果。所提出的实时 DetMCD 方法（RT-DetMCD）的速度与精度通过仿真及食品分选的真实工业应用得以展示。
引用
@article{arxiv.1910.05615,
title = {Real-time outlier detection for large datasets by RT-DetMCD},
author = {Bart De Ketelaere and Mia Hubert and Jakob Raymaekers and Peter J. Rousseeuw and Iwein Vranckx},
journal= {arXiv preprint arXiv:1910.05615},
year = {2021}
}