FlexServe：将PyTorch模型部署为灵活的REST端点
分布式、并行与集群计算
2020-03-04 v1 机器学习
机器学习
摘要
通过使用基于云的机器学习服务和表述性状态转移架构设计，将人工智能能力集成到现代软件系统中正变得越来越简单。然而，关于底层模型来源的信息不足以及对模型演化的缺乏控制，阻碍了这些服务在具有严格安全要求的许多操作环境中的更广泛采用。此外，TensorFlow Serving等工具允许将模型部署为RESTful端点，但对于PyTorch模型（因其动态计算图）需要容易出错的转换。这与TensorFlow的静态计算图形成对比。为了实现无需中间转换的PyTorch模型快速部署，我们开发了FlexServe，一个用于部署具有灵活批处理的多模型集成的简单库。
引用
@article{arxiv.2003.01538,
title = {FlexServe: Deployment of PyTorch Models as Flexible REST Endpoints},
author = {Edward Verenich and Alvaro Velasquez and M. G. Sarwar Murshed and Faraz Hussain},
journal= {arXiv preprint arXiv:2003.01538},
year = {2020}
}
备注
3 pages, 1 figure, conference