对异常值校正方法有效性的质疑
统计方法学
2019-10-02 v2
摘要
尽管已有研究表明，使用不同的异常值校正方法可抵消不属于所研究总体的污染数据所带来的推断误差；但当样本不含污染性异常值时，使用这些方法所产生的影响尚不清晰。本文通过模拟方法表明，在此条件下，最流行的异常值校正方法（2 Sigma、3 Sigma、MAD、IQR、Grubbs 和 winsorizing）会恶化对所研究总体的推断评估，尤其会导致第一类错误的膨胀，并增大估计总体均值与标准差（STD）时的误差。我们表明，那些在存在污染性异常值时最能有效抵消第一类与第二类错误膨胀的方法，在其不存在时也会产生更强的假阳性结果增加，这意味着系统性地使用异常值校正方法可能对统计推断产生弊大于利的影响。最后我们提出，对于统计比较中异常值的处理，最安全的方式是使用非参数检验。
引用
@article{arxiv.1907.09864,
title = {Doubts on the efficacy of outliers correction methods},
author = {Marjorie Fonnesu and Nicola Kuczewski},
journal= {arXiv preprint arXiv:1907.09864},
year = {2019}
}