存在离群点时的变点检测
统计方法学
2017-07-12 v2 应用统计
统计计算
机器学习
摘要
许多用于识别变点的传统方法在存在离群点或因噪声重尾时会出现困难。它们常为了拟合离群点而推断出额外的变点。为克服该问题,数据通常需要预处理以去除离群点,尽管这对于需要在线分析数据的应用而言是困难的。我们提出一种对离群点存在具有鲁棒性的变点检测方法。其思想是调整现有的用于检测变化的惩罚代价方法,使其使用对离群点较不敏感的损失函数。我们认为有界的损失函数,如经典的双权损失(biweight loss),尤其合适——因为我们证明只有有界损失函数对任意极端离群点具有鲁棒性。我们提出了一种高效的动态规划算法,可在我们的惩罚代价准则下找到最优分段。重要的是,该算法可用于需要在线分析数据的场景。我们表明,使用双权损失函数,我们能一致地估计变点数量并准确估计其位置。我们展示了我们的方法在分析测井数据、检测拷贝数变异以及检测无线设备篡改等应用中的有用性。
引用
@article{arxiv.1609.07363,
title = {Changepoint Detection in the Presence of Outliers},
author = {Paul Fearnhead and Guillem Rigaill},
journal= {arXiv preprint arXiv:1609.07363},
year = {2017}
}
备注
Updated to include a proof of consistency and accuracy of estimating change points using the biweight loss function