Amazon SageMaker Model Monitor：面向已部署机器学习模型的实时洞察系统
机器学习
2022-08-08 v3 人工智能
机器学习
摘要
随着机器学习模型和系统在不同行业的高风险场景中得到越来越多的应用，确保模型在部署后的性能已变得至关重要。在生产环境中监控模型是确保其持续性能和可靠性的关键方面。我们提出了 Amazon SageMaker Model Monitor，这是一项完全托管的服务，可持续监控托管在 Amazon SageMaker 上的机器学习模型的质量。我们的系统自动实时检测模型中的数据漂移、概念漂移、偏差漂移和特征归因漂移，并提供警报，以便模型所有者采取纠正措施，从而保持高质量的模型。我们描述了从客户那里获得的关键需求、系统设计和架构，以及检测不同类型漂移的方法。此外，我们提供了定量评估，随后是来自两年多生产部署的用例、洞察和经验教训。
引用
@article{arxiv.2111.13657,
title = {Amazon SageMaker Model Monitor: A System for Real-Time Insights into Deployed Machine Learning Models},
author = {David Nigenda and Zohar Karnin and Muhammad Bilal Zafar and Raghu Ramesha and Alan Tan and Michele Donini and Krishnaram Kenthapadi},
journal= {arXiv preprint arXiv:2111.13657},
year = {2022}
}