Rec-Distill：大规模推荐模型的工业级蒸馏管道
信息检索
2026-05-29 v1
摘要
大规模推荐模型在按比例增长方面已显示出巨大的潜在收益，但这些收益在工业推荐系统中难以实现，因为实际部署需要轻量级模型，并在服务效率和延迟保证方面受到严格限制。这构成了离线模型规模扩张与在线部署之间的根本性差距。本文提出 Rec-Distill，一个工业级蒸馏管道，将大规模推荐建模的性能提升传输给高效服务模型。Rec-Distill 将大规模教师模型与学生侧的传输优化结合，通过解耦训练、黑盒蒸馏、去偏机制以及针对动态推荐环境的混合批流水线实现。跨多个推荐和广告场景的实际平台实验表明，该框架可将教师模型规模扩展至最高 240 亿稀疏参数和 20,000 行为序列长度，同时使轻量级学生模型恢复教师收益的大部分，最佳情况下蒸馏传递率超过 60%。广泛的离线和在线实验进一步表明，这些传递的收益在工业约束下始终可转化为可衡量的业务改进。这些结果表明，Rec-Distill 提供了一种实用的框架，用于将大规模推荐模型蒸馏到可部署、具成本效益的服务系统，同时也为未来在更大规模范围内扩展推荐模型奠定了可靠的路径。
引用
@article{arxiv.2605.29755,
title = {Rec-Distill: An Industrial Distillation Pipeline for Large-Scale Recommendation Models},
author = {Haoran Ding and Wenlin Zhao and Yuchen Jiang and Juren Li and Jie Zhu and Xinchun Li and Yishujie Zhao and Yi Zhang and Ao Qiao and Jianhui Dong and Cheng Chen and Ziyan Gong and Deping Xie and Peng Xu and Zikai Wang and Yuwei Wang and Huizhi Yang and Zhe Chen and Yuchao Zheng},
journal= {arXiv preprint arXiv:2605.29755},
year = {2026}
}