SilverTorch：面向 GPU 的基于模型的大规模推荐系统统一方案
信息检索
2026-05-11 v5
摘要
在大规模部署深度学习基于推荐模型 (DLRM) 具有挑战性。现有方法依赖 CPU 上的专用 ANN 索引和过滤服务，成本不低，且缺乏协同设计机会。这种低效使其难以支持复杂的模型架构，如学习相似性和多任务检索。在本文中，我们提出了 SilverTorch，一个基于模型的服务系统，将所有组件统一到一个模型中。它通过用模型层取代独立的索引和过滤服务来实现模型服务统一。我们提出了基于模型的 GPU Bloom 索引用于特征过滤，以及融合 Int8 ANN 核用于最近邻搜索。通过 ANN 搜索和特征过滤的协同设计，我们减少了 GPU 内存使用并消除了计算。得益于这一设计，我们通过引入 OverArch 评分层和用于聚合得分的 Value Model 实现检索规模化，实现了多任务检索。这些突破性进展提高了检索准确性，使我们能够为更复杂的模型提供服务。我们在行业规模数据集上的评估显示，SilverTorch 相对于最先进的方法实现了最高可达 23.7 倍的吞吐量提升。我们还展示了 SilverTorch 解决方案比基于 CPU 的解决方案高效 13.35 倍，同时通过提供更复杂的模型服务提高了准确性。SilverTorch 已在大规模部署中运行，为数百个模型在线服务，支持多样化应用的推荐。
引用
@article{arxiv.2511.14881,
title = {SilverTorch: A Unified Model-based System to Democratize Large-Scale Recommendation on GPUs},
author = {Bi Xue and Hong Wu and Lei Chen and Chao Yang and Yiming Ma and Fei Ding and Zhen Wang and Liang Wang and Xiaoheng Mao and Ke Huang and Xialu Li and Peng Xia and Rui Jian and Yanli Zhao and Yanzun Huang and Yijie Deng and Harry Tran and Ryan Chang and Min Yu and Eric Dong and Jiazhou Wang and Qianqian Zhang and Keke Zhai and Hongzhang Yin and Pawel Garbacki and Jiaqi Zhai and Zheng Fang and Yiyi Pan and Min Ni and Kevin Greer and Rui Zhang and Yang Liu},
journal= {arXiv preprint arXiv:2511.14881},
year = {2026}
}