ElasticRec：基于微服务的弹性资源扩展推荐模型serving架构
分布式、并行与集群计算
2024-06-12 v1 信息检索
机器学习
摘要
随着推荐系统（RecSys）的流行度不断提升，数据中心的计算资源需求不断增加。然而，当前RecSys模型serving架构中采用的数据集密钥资源分配方式在有效利用资源方面不足，导致总拥有成本次优。我们提出了ElasticRec，这是一种为RecSys提供资源弹性和高内存效率的模型serving架构。ElasticRec基于微服务软件架构，以实现针对RecSys异构资源需求的细粒度资源分配。此外，ElasticRec通过我们基于效用的方法实现了高内存效率。总体而言，ElasticRec实现了平均3.3倍的内存分配大小减少和8.1倍的内存效用增加，平均降低了1.6倍的部署成本，相较于最先进的RecSys推理serving系统。
引用
@article{arxiv.2406.06955,
title = {ElasticRec: A Microservice-based Model Serving Architecture Enabling Elastic Resource Scaling for Recommendation Models},
author = {Yujeong Choi and Jiin Kim and Minsoo Rhu},
journal= {arXiv preprint arXiv:2406.06955},
year = {2024}
}