KAIROS：利用异构云资源构建成本高效的机器学习推理系统
分布式、并行与集群计算
2023-05-04 v3 机器学习
摘要
在线推理正成为许多企业的关键服务产品，部署在云平台上以满足客户需求。尽管这些服务具有创收能力，但它们需要在严格的服务质量 和成本预算约束下运行。本文介绍了 KAIROS，一种新颖的运行时框架，可在满足 QoS 目标和成本预算的同时最大化查询吞吐量。KAIROS 设计并实现了新颖的技术，以在没有在线探索开销的情况下构建异构计算硬件池，并在运行时最优地分发推理查询。我们使用工业级深度学习 (DL) 模型进行的评估表明，尽管竞争方案采用了忽略其探索开销的有利实现，KAIROS 的吞吐量仍高达最优同构解决方案的 2 倍，并且比 state-of-the-art 方案高出 70%。
引用
@article{arxiv.2210.05889,
title = {KAIROS: Building Cost-Efficient Machine Learning Inference Systems with Heterogeneous Cloud Resources},
author = {Baolin Li and Siddharth Samsi and Vijay Gadepally and Devesh Tiwari},
journal= {arXiv preprint arXiv:2210.05889},
year = {2023}
}