惊喜采样:改进并推广局部病例对照采样
统计方法学
2021-05-07 v1
摘要
Fithian 与 Hastie (2014) 提出了一种称为局部病例对照(LCC)采样的新抽样方案,该方案利用与 logistic 模型相关的巧妙调整实现了稳定性与高效性。它对于大规模不平衡数据的分类尤为有用。本文基于一个工作原则提出了一种更通用的抽样方案:若数据点包含更多信息,或在例如试点预测误差较大或绝对分数较大等意义上显得“令人惊讶”,则其应获得更高的抽样概率。与 Fithian 和 Hastie (2014) 以及 Ai 等人 (2018) 所报道的相关现有抽样方案相比,所提方案具有若干优势。它自适应地给出针对多种目标的最优形式,并将 LCC 与 Ai 等人 (2018) 的抽样作为特例包含在内。在相同模型设定下,所提估计量的表现也不逊于文献中的那些估计量。即便模型设定有误和/或试点估计量不一致或依赖于全量数据,该估计过程依然有效。我们给出了所声称的估计与抽样设计之优势及最优性的理论依据。与 Ai 等人 (2018) 不同,我们的渐近理论是总体层面的而非数据层面的。此外,由于该方法本质上仅需一个特定的损失函数且不需要数据的响应—协变量结构,所提方法也可应用于无监督学习研究。我们开展了数值研究并展示了支持该理论的证据。
引用
@article{arxiv.2007.02633,
title = {Surprise sampling: improving and extending the local case-control sampling},
author = {Xinwei Shen and Kani Chen and Wen Yu},
journal= {arXiv preprint arXiv:2007.02633},
year = {2021}
}