Neyman-Pearson (NP) 分类算法与 NP 接收者操作特征 (NP-ROC)
统计方法学
2021-12-01 v3
摘要
在许多二分类应用（如疾病诊断和垃圾邮件检测）中，从业者往往迫切需要控制第一类错误（即将类别 0 观测误分类为类别 1 的条件概率），使其保持在所需阈值以下。为满足这一需求，Neyman-Pearson (NP) 分类范式是一个自然的选择；它在对第一类错误施加实际上界的同时，最小化第二类错误（即将类别 1 观测误分类为类别 0 的条件概率）。尽管 NP 范式在假设检验中已有百年历史，但其在分类方案中尚未得到充分认可和实施。直接将经验第一类错误限制在不超过的常见做法并不满足第一类错误控制目标，因为由此产生的分类器仍很可能具有远大于的第一类错误。因此，NP 范式在许多实际分类场景中未得到适当实施。在这项工作中，我们开发了首个 umbrella 算法，为所有评分型分类方法（包括逻辑回归、支持向量机和随机森林等流行方法）实施 NP 范式。借助该 umbrella 算法，我们提出了一种用于 NP 分类方法的新型图形工具：NP 接收者操作特征 (NP-ROC) 带，其灵感来源于流行的接收者操作特征 (ROC) 曲线。NP-ROC 带将有助于以数据自适应的方式选择并比较不同的 NP 分类器。我们通过模拟和真实数据案例研究展示了 NP umbrella 算法和 NP-ROC 带的用法及性质，这些工具可在 R 包 nproc 中获取。
引用
@article{arxiv.1608.03109,
title = {Neyman-Pearson (NP) classification algorithms and NP receiver operating characteristics (NP-ROC)},
author = {Xin Tong and Yang Feng and Jingyi Jessica Li},
journal= {arXiv preprint arXiv:1608.03109},
year = {2021}
}