RecShard：基于统计特征的工业级神经推荐内存优化
机器学习
2022-01-26 v1 硬件体系结构
分布式、并行与集群计算
性能
摘要
我们提出RecShard，一种用于深度学习推荐模型(DLRMs)的细粒度嵌入表(EMB)划分与放置技术。RecShard基于两个关键观察而设计。首先，并非所有EMB都相等，也并非EMB内所有行在访问模式上相等。EMB呈现出不同的内存特征，为跨分层内存层级的智能EMB划分与放置提供了性能优化机会。其次，在现代DLRMs中，EMB充当哈希表。因此，EMB展现出诸如生日悖论等有趣现象，导致EMB严重利用不足。RecShard基于训练数据分布与模型特征，以及底层分层内存层级的带宽特征，为一组EMB确定最优EMB分片策略。由此，RecShard在容量受限的DLRMs上平均实现了超过6倍的更高EMB训练吞吐量。吞吐量的提升来自超过12倍的EMB负载均衡改善，以及超过87倍的慢速内存访问减少。
引用
@article{arxiv.2201.10095,
title = {RecShard: Statistical Feature-Based Memory Optimization for Industry-Scale Neural Recommendation},
author = {Geet Sethi and Bilge Acun and Niket Agarwal and Christos Kozyrakis and Caroline Trippel and Carole-Jean Wu},
journal= {arXiv preprint arXiv:2201.10095},
year = {2022}
}