基于分层重要抽样的分类模型标签高效监控
机器学习
2026-02-02 v1 应用统计
摘要
监控分类模型在生产环境中的性能至为关键，但面临严格的标签预算、一次性批量获取标签以及极低的错误率等挑战。我们提出一种基于分层重要抽样（SIS）的通用框架，直接应对这些约束。虽然 SIS 已在特定领域中应用，但我们的理论分析确立了其对分类模型监控的广泛适用性。在 mild 条件下，SIS 可产生无偏估计量，并在有限样本均方误差（MSE）上显著优于重要抽样（IS）和分层随机抽样（SRS）。该框架不依赖于最优定义的提议分布或分层：即使在噪声代理和亚最优分层情况下，SIS 也可在标签预算固定下提高估计效率。跨二进制和多类任务的实验表明，在固定标签预算下，SIS 始终实现效率提升，凸显其作为一种原则性、标签高效且操作轻量级的方法论，用于部署后模型监控。
引用
@article{arxiv.2601.22326,
title = {Label-Efficient Monitoring of Classification Models via Stratified Importance Sampling},
author = {Lupo Marsigli and Angel Lopez de Haro},
journal= {arXiv preprint arXiv:2601.22326},
year = {2026}
}
备注
24 pages