Overton：用于监控与改进机器学习产品的数据系统
机器学习
2019-09-13 v1 计算与语言
数据库
摘要
我们描述了一个名为 Overton 的系统，其主要设计目标是支持工程师构建、监控和改进生产环境中的机器学习系统。工程师面临的关键挑战包括细粒度质量监控、诊断复杂应用中的错误，以及处理矛盾或不完整的监督数据。Overton 通过提供一组新颖的高级声明式抽象，自动化了模型构建、部署和监控的生命周期。Overton 的愿景是将开发者转向这些更高层次的任务，而非低层次的机器学习任务。事实上，使用 Overton，工程师可以在不编写任何 TensorFlow 等框架代码的情况下构建基于深度学习的应用。一年多来，Overton 已在生产环境中用于支持近实时应用和后台处理中的多个应用。在此期间，基于 Overton 的应用已回答数十亿次多语言查询，并处理了数万亿条记录，将错误率较生产系统降低了 1.7 至 2.9 倍。
引用
@article{arxiv.1909.05372,
title = {Overton: A Data System for Monitoring and Improving Machine-Learned Products},
author = {Christopher Ré and Feng Niu and Pallavi Gudipati and Charles Srisuwananukorn},
journal= {arXiv preprint arXiv:1909.05372},
year = {2019}
}