中文

鲁棒绍文纳特剔除:面向重度污染数据集的强有力且易用的离群点检测

统计计算 2023-01-20 v1 天体物理仪器与方法

摘要

在 Maples 等人(2018)中,我们引入了鲁棒绍文纳特离群点剔除(RCR),一种新颖的离群点剔除技术,它通过顺序应用不同的集中趋势度量并经验性地确定剔除 sigma 值来演化绍文纳特准则。RCR 对于清洗重度污染样本尤其强大,且不同于 sigma 截断等其他方法,它通过在序列中使用渐弱鲁棒但渐高精度的统计量,能够在刻画数据集底层未污染分布时做到准确且精确。本工作中,我们从软件角度呈现 RCR,将其新实现为 Python 包,同时保持原 C++ 版本的速度。RCR 已经过充分测试、校准与仿真,可用于一维离群点剔除与 nn 维模型拟合,带或不带加权数据均可。RCR 可免费用于学术与非商业目的,其代码、文档及配套网页计算器可在 https://github.com/nickk124/RCR 在线找到并轻松使用。

关键词

引用

@article{arxiv.2301.07838,
  title  = {Robust Chauvenet Rejection: Powerful, but Easy to Use Outlier Detection for Heavily Contaminated Data Sets},
  author = {Nicholas Konz and Daniel E. Reichart},
  journal= {arXiv preprint arXiv:2301.07838},
  year   = {2023}
}

备注

10 pages, 6 figures, pre-print version. This paper introduces a Python library for the algorithm introduced in arXiv:1807.05276