带有供应链示例的已部署机器学习模型监控框架
机器学习
2022-11-14 v1 应用统计
摘要
在生产运行期间主动监控机器学习模型，有助于确保预测质量，并检测和修复意外或不良状况。监控已部署在大数据环境中的模型带来了额外的挑战，即需要在现有建模工作流中并行添加监控，并控制资源需求。在本文中，我们描述了（1）一个用于监控机器学习模型的框架；以及（2）其在大型数据供应链应用中的实现。我们使用我们的实现来研究三个真实数据集上模型特征、预测和性能的漂移。我们使用 Kolmogorov-Smirnov 距离和 Bhattacharyya 系数，比较了用于特征和预测漂移检测的假设检验与信息论方法。结果表明，在评估期间模型性能保持稳定。特征和预测显示出统计学上显著的漂移；然而，在我们的研究期间，这些漂移并未与模型性能的变化相关联。
引用
@article{arxiv.2211.06239,
title = {A monitoring framework for deployed machine learning models with supply chain examples},
author = {Bradley Eck and Duygu Kabakci-Zorlu and Yan Chen and France Savard and Xiaowei Bao},
journal= {arXiv preprint arXiv:2211.06239},
year = {2022}
}
备注
8 pages, 9 figures, IEEE Big Data 2022