ML Health：生产模型的健适性追踪
机器学习
2019-02-11 v1 机器学习
摘要
机器学习（ML）算法在生产环境中长期部署暴露出新的挑战，例如在缺乏标签的情况下监控和管理模型的实时预测质量。然而，此类追踪对于防止由错误预测导致的灾难性业务后果至关重要。此类部署的规模使得人工监控难以为继，令自动追踪与告警技术成为必需。我们提出一个框架 ML Health，用于在缺乏标签时追踪 ML 模型预测性能的潜在下降。该框架采用诊断方法生成告警以供进一步调查。我们开发了一种此类方法，用于监控生产数据模式与训练数据分布不匹配时的潜在问题。我们证明，在检测数据集不匹配问题方面，我们的方法优于 RMSE、KL 散度与 Wasserstein 等标准“距离度量”。最后，我们展示了一个可行系统，其将 ML Health 方法纳入现实完整的生产 ML 生命周期中，以监控和管理 ML 部署。
引用
@article{arxiv.1902.02808,
title = {ML Health: Fitness Tracking for Production Models},
author = {Sindhu Ghanta and Sriram Subramanian and Lior Khermosh and Swaminathan Sundararaman and Harshil Shah and Yakov Goldberg and Drew Roselli and Nisha Talagala},
journal= {arXiv preprint arXiv:1902.02808},
year = {2019}
}
备注
This paper has been submitted to the Data Science track of KDD 2019