基于 FlexEMR 的嵌入式推荐系统解耦
信息检索
2025-01-03 v2 人工智能
摘要
高效地服务于嵌入式基于嵌入的推荐 (EMR) 模型仍然是一个重大挑战,由于其日益增长的内存要求。当今做法将模型划分为许多单体服务器,其中将在固定比例中配置混合 GPU、CPU 和 DRAM。这种方法导致资源利用不足和增加成本。将嵌入运算从神经网络推理中解耦是一个有前景的解决方案,但带来了新的网络挑战。本文讨论了 FlexEMR 用于优化 EMR 解耦的设计。FlexEMR 提出了两套技术来解决网络挑战:利用嵌入查找的时空局部性以减少网络上的数据移动,以及设计用于并发查找子请求的优化多线程 RDMA 引擎。我们概述了每项技术的设计空间并呈现来自早期原型的初始结果。
引用
@article{arxiv.2410.12794,
title = {Disaggregating Embedding Recommendation Systems with FlexEMR},
author = {Yibo Huang and Zhenning Yang and Jiarong Xing and Yi Dai and Yiming Qiu and Dingming Wu and Fan Lai and Ang Chen},
journal= {arXiv preprint arXiv:2410.12794},
year = {2025}
}