MOSEL：基于动态模态选择的推理服务系统
机器学习
2023-10-31 v1 人工智能
操作系统
摘要
多年来快速发展使机器学习模型达到了以往难以实现的目标，有时甚至超越人类能力。然而，为达到所需精度，模型规模及其计算需求急剧增加。因此，尽管近期在构建推理服务系统以及基于输入动态调整模型的算法方法方面已有进展，从这些模型提供预测以满足应用的任何目标延迟和成本要求仍是一项关键挑战。本文引入一种动态性形式——模态选择，在保持模型质量的同时自适应地选择推理输入中的模态。我们提出 MOSEL，一个面向多模态机器学习模型的自动化推理服务系统，它根据用户定义的性能和精度要求为每个请求精心挑选输入模态。MOSEL 广泛利用模态配置，在精度保证下将系统吞吐量提升 3.6，并将作业完成时间缩短 11。
引用
@article{arxiv.2310.18481,
title = {MOSEL: Inference Serving Using Dynamic Modality Selection},
author = {Bodun Hu and Le Xu and Jeongyoon Moon and Neeraja J. Yadwadkar and Aditya Akella},
journal= {arXiv preprint arXiv:2310.18481},
year = {2023}
}