大规模智能微服务
人工智能
2022-03-17 v3 数据库
分布式、并行与集群计算
机器学习
网络与互联网体系结构
摘要
由于现代机器学习（ML）算法的计算足迹各异，且数据库技术种类繁多且各自具有严格的语法限制，在数据库内部部署 ML 算法是一项挑战。我们引入了一个基于 Apache Spark 的微服务编排框架，该框架将数据库操作扩展至包含 Web 服务原语。我们的系统能够跨数百台机器编排 Web 服务，并充分利用集群、线程和异步并行性。利用该框架，我们为语音、视觉、搜索、异常检测和文本分析等智能服务提供了大规模客户端。这使得用户能够将即用型智能集成到任何带有 Apache Spark 连接器的数据存储中。为消除网络通信带来的大部分开销，我们还引入了该架构的低延迟容器化版本。最后，我们证明所研究的服务在各项基准测试上具有竞争力，并展示了该框架在创建智能搜索引擎和实时赛车分析系统方面的两个应用。
关键词
引用
@article{arxiv.2009.08044,
title = {Large-Scale Intelligent Microservices},
author = {Mark Hamilton and Nick Gonsalves and Christina Lee and Anand Raman and Brendan Walsh and Siddhartha Prasad and Dalitso Banda and Lucy Zhang and Mei Gao and Lei Zhang and William T. Freeman},
journal= {arXiv preprint arXiv:2009.08044},
year = {2022}
}