Kubernetes 上的无服务器推理
分布式、并行与集群计算
2020-07-27 v2 机器学习
机器学习
摘要
组织正日益大规模地将机器学习模型投入生产。无服务器缩至零（scale-to-zero）范式的日益流行，为部署机器学习模型提供了契机，可在许多模型未必持续使用时帮助降低基础设施成本。我们将讨论 KFServing 项目，它构建于 KNative 无服务器范式之上，提供一种无服务器机器学习推理解决方案，为数据科学家部署其模型提供一致且简单的接口。我们将展示它如何解决基于 GPU 的推理自动扩缩容挑战，并讨论在生产中使用它所学到的一些经验。
引用
@article{arxiv.2007.07366,
title = {Serverless inferencing on Kubernetes},
author = {Clive Cox and Dan Sun and Ellis Tarn and Animesh Singh and Rakesh Kelkar and David Goodwin},
journal= {arXiv preprint arXiv:2007.07366},
year = {2020}
}
备注
4 pages, 1 figure, presented at workshop on "Challenges in Deploying and Monitoring Machine Learning System" at ICML 2020