RIBBON：利用多样化云计算实例池实现经济高效且感知QoS的深度学习模型推理
分布式、并行与集群计算
2022-07-29 v2 机器学习
摘要
深度学习模型推理是许多业务和科学发现流程中的关键服务。本文介绍RIBBON，一种新颖的深度学习推理服务系统，可同时满足两个相互竞争的目标：服务质量（QoS）目标与经济高效。RIBBON的核心思想是智能地采用多样化的云计算实例（异构实例）集合来满足QoS目标并最大化成本节约。RIBBON设计了一种贝叶斯优化驱动的策略，帮助用户在云计算平台上为其模型推理服务需求构建最优的异构实例集合——并且，RIBBON在使用同质实例池的现有推理服务系统方法中展现出优越性。对于包括新兴深度学习推荐系统模型和药物发现赋能模型在内的不同学习模型，RIBBON可节省多达16%的推理服务成本。
引用
@article{arxiv.2207.11434,
title = {RIBBON: Cost-Effective and QoS-Aware Deep Learning Model Inference using a Diverse Pool of Cloud Computing Instances},
author = {Baolin Li and Rohan Basu Roy and Tirthak Patel and Vijay Gadepally and Karen Gettings and Devesh Tiwari},
journal= {arXiv preprint arXiv:2207.11434},
year = {2022}
}