鲁棒绍文纳特剔除:面向重度污染数据集的强有力且易用的离群点检测
统计计算
2023-01-20 v1 天体物理仪器与方法
摘要
在 Maples 等人(2018)中,我们引入了鲁棒绍文纳特离群点剔除(RCR),一种新颖的离群点剔除技术,它通过顺序应用不同的集中趋势度量并经验性地确定剔除 sigma 值来演化绍文纳特准则。RCR 对于清洗重度污染样本尤其强大,且不同于 sigma 截断等其他方法,它通过在序列中使用渐弱鲁棒但渐高精度的统计量,能够在刻画数据集底层未污染分布时做到准确且精确。本工作中,我们从软件角度呈现 RCR,将其新实现为 Python 包,同时保持原 C++ 版本的速度。RCR 已经过充分测试、校准与仿真,可用于一维离群点剔除与 维模型拟合,带或不带加权数据均可。RCR 可免费用于学术与非商业目的,其代码、文档及配套网页计算器可在 https://github.com/nickk124/RCR 在线找到并轻松使用。
引用
@article{arxiv.2301.07838,
title = {Robust Chauvenet Rejection: Powerful, but Easy to Use Outlier Detection for Heavily Contaminated Data Sets},
author = {Nicholas Konz and Daniel E. Reichart},
journal= {arXiv preprint arXiv:2301.07838},
year = {2023}
}
备注
10 pages, 6 figures, pre-print version. This paper introduces a Python library for the algorithm introduced in arXiv:1807.05276