MLDemon：机器学习系统部署监测
机器学习
2022-02-25 v5 机器学习
摘要
机器学习系统的部署后监测对于确保可靠性至关重要，尤其是当新用户输入可能不同于训练分布时。在此我们提出一种新方法 MLDemon，用于机器学习部署监测（ML DEployment MONitoring）。MLDemon 整合无标签数据和少量按需标签，以实时估计 ML 模型在给定数据流上的当前性能。在预算约束下，MLDemon 决定何时获取额外的、可能昂贵的专家监督标签以验证模型。在具有多种分布漂移和模型的时序数据集上，MLDemon 优于现有方法。此外，我们提供理论分析表明，对于广泛一类分布漂移，MLDemon 是极小极大速率最优的。
引用
@article{arxiv.2104.13621,
title = {MLDemon: Deployment Monitoring for Machine Learning Systems},
author = {Antonio Ginart and Martin Zhang and James Zou},
journal= {arXiv preprint arXiv:2104.13621},
year = {2022}
}
备注
Accepted to AISTATS 2022. Significant changes to algorithm, theory, and experiments since previous versions