TensorFlow-Serving：灵活、高性能的机器学习模型服务系统
分布式、并行与集群计算
2017-12-29 v2 机器学习
摘要
我们介绍 TensorFlow-Serving，这是一套在 Google 内部用于服务机器学习模型的系统，同时也通过云端和开源形式提供。它在所支持的 ML 平台类型以及与将新模型和更新版本从训练传递到服务的系统的集成方式上极为灵活。与此同时，围绕模型查找和推理的核心代码路径经过了精心优化，以避免在朴素实现中观察到的性能缺陷。Google 在许多生产部署中使用它，包括一个名为 TFS^2 的多租户模型托管服务。
引用
@article{arxiv.1712.06139,
title = {TensorFlow-Serving: Flexible, High-Performance ML Serving},
author = {Christopher Olston and Noah Fiedel and Kiril Gorovoy and Jeremiah Harmsen and Li Lao and Fangwei Li and Vinu Rajashekhar and Sukriti Ramesh and Jordan Soyke},
journal= {arXiv preprint arXiv:1712.06139},
year = {2017}
}
备注
Presented at NIPS 2017 Workshop on ML Systems (http://learningsys.org/nips17/acceptedpapers.html)