RecD：面向端到端深度学习方法推荐模型训练基础设施的去重
机器学习
2023-05-03 v4 分布式、并行与集群计算
信息检索
性能
摘要
我们提出 RecD（推荐去重），一套跨越深度学习方法推荐模型（DLRM）训练流水线的端到端基础设施优化。RecD 解决了工业规模 DLRM 训练数据集中固有的特征重复所导致的巨大存储、预处理和训练开销。特征重复的出现是因为 DLRM 数据集由交互生成。虽然每个用户会话可产生多个训练样本，但许多特征的值在这些样本间并不改变。我们展示了 RecD 如何跨已部署的训练流水线端到端地利用这一性质。RecD 优化数据生成流水线，以降低数据集存储与预处理资源需求，并最大化训练批次内的重复。RecD 引入了一种新的张量格式——InverseKeyedJaggedTensors（IKJT），以对每个批次中的特征值去重。我们展示了 DLRM 模型架构如何利用 IKJT 大幅提升训练吞吐。在一个工业规模 DLRM 训练系统中，RecD 将训练与预处理吞吐及存储效率分别提升了高达 2.48 倍、1.79 倍和 3.71 倍。
引用
@article{arxiv.2211.05239,
title = {RecD: Deduplication for End-to-End Deep Learning Recommendation Model Training Infrastructure},
author = {Mark Zhao and Dhruv Choudhary and Devashish Tyagi and Ajay Somani and Max Kaplan and Sung-Han Lin and Sarunya Pumma and Jongsoo Park and Aarti Basant and Niket Agarwal and Carole-Jean Wu and Christos Kozyrakis},
journal= {arXiv preprint arXiv:2211.05239},
year = {2023}
}
备注
Published in the Proceedings of the Sixth Conference on Machine Learning and Systems (MLSys 2023)