中文

鲁棒 Chauvenet 异常值剔除

天体物理仪器与方法 2023-01-20 v1 统计计算

摘要

Sigma 裁剪在天文学中常用于异常值剔除,但应从样本中裁剪掉的数据超出标准差的倍数最终取决于样本大小。Chauvenet 剔除是最古老也是最简单的方法之一来对此加以考虑,但如同 sigma 裁剪一样,它依赖于样本的均值与标准差,而二者均非鲁棒量:两者都易被正欲剔除的那些异常值所污染。许多更鲁棒的集中趋势与样本离散度度量方法存在,但各自在精度上有权衡。此处我们证明,若依次应用鲁棒性递减但精度递增的技术,异常值剔除可同时具备极高鲁棒性与极高精度。为此,我们提出一种 Chauvenet 剔除的变体,称为“鲁棒”Chauvenet 剔除(RCR),其使用了三种鲁棒性递减/精度递增的集中趋势度量,以及四种鲁棒性递减/精度递增的样本离散度度量。我们表明该序列方法对多种污染类型极为有效,即便样本中有显著——甚至主导性——比例的污染,尤其当污染物较强时。此外,我们开发了批量剔除变体以显著缩短计算时间,且 RCR 既可应用于加权数据,也可在将数据拟合参数化模型时使用。我们给出受污染拥挤场中的孔径测光作为示例。任何人可在 https://skynet.unc.edu/rcr 使用 RCR,源代码亦在该处提供。

关键词

引用

@article{arxiv.1807.05276,
  title  = {Robust Chauvenet Outlier Rejection},
  author = {M. P. Maples and D. E. Reichart and N. C. Konz and T. A. Berger and A. S. Trotter and J. R. Martin and D. A. Dutton and M. L. Paggen and R. E. Joyner and C. P. Salemi},
  journal= {arXiv preprint arXiv:1807.05276},
  year   = {2023}
}

备注

62 pages, 48 figures, 7 tables, accepted for publication in ApJS