面向已部署模型的预测驱动风险监控：用于检测有害分布迁移
机器学习
2026-02-03 v1 信号处理
摘要
我们研究了在动态环境中监控模型性能的问题，其中标签数据有限。为此，我们提出了预测驱动风险监控（PPRM）方法，这是一种基于预测驱动推断（PPI）的半监督风险监控方法。PPRM通过结合合成标签和一小部分真实标签，构建对运行风险的即时有效下界。通过与名义风险的上界进行阈值比较来检测有害迁移，在错误警报概率上满足无假设的有限样本保证。我们通过在图像分类、大型语言模型（LLM）和电信监控任务上的大量实验表明了PPRM的有效性。
引用
@article{arxiv.2602.02229,
title = {Prediction-Powered Risk Monitoring of Deployed Models for Detecting Harmful Distribution Shifts},
author = {Guangyi Zhang and Yunlong Cai and Guanding Yu and Osvaldo Simeone},
journal= {arXiv preprint arXiv:2602.02229},
year = {2026}
}