AIF: 面向低成本预排序的异步推理框架
机器学习
2025-11-21 v2 信息检索
摘要
在工业级推荐系统中，基于深度神经网络(DNN)的预排序模型通常采用顺序执行框架：特征获取和模型前向计算仅在接收到上游检索阶段的候选后才会触发。这种设计引入了内在瓶颈，包括相同用户/物品的冗余计算以及严格顺序操作导致的延迟增加，这些因素共同限制了模型的表达能力和系统效率。为此，我们提出异步推理框架(AIF)，这是一种具有成本效益的计算架构，通过解耦与交互无关的组件（即单个用户或物品内部的组件）与实时预测。AIF重新组织模型推理过程，在检索阶段并行执行用户侧计算，并以近线方式进行物品侧计算。这意味着交互无关的组件仅计算一次，并在预排序阶段的实时预测阶段前完成。结果，AIF提高了计算效率，降低了延迟，为显著提升交互无关组件的特征集合和模型架构提供了资源。此外，我们深入探讨AIF框架内的模型设计，采用近似方法处理在线实时预测中的交互依赖组件。通过协同设计框架与模型，我们的解决方案在不显著增加计算和延迟成本的情况下实现了显著的性能提升。这已使AIF成功部署于淘宝广告展示系统。
引用
@article{arxiv.2511.12934,
title = {AIF: Asynchronous Inference Framework for Cost-Effective Pre-Ranking},
author = {Zhi Kou and Xiang-Rong Sheng and Shuguang Han and Zhishan Zhao and Yueyao Cheng and Han Zhu and Jian Xu and Bo Zheng},
journal= {arXiv preprint arXiv:2511.12934},
year = {2025}
}