生成式早期阶段排序
机器学习
2025-11-27 v1
摘要
大规模推荐通常采用多阶段级联排序系统范式来平衡效果和效率。早期阶段排序 (ESR) 系统利用“用户-物品解耦”方法，其中独立学习的用户和物品表示仅在最终层组合。虽然高效，但这种设计在效果上受限，因其难以捕获细粒度的用户-物品亲和力和交叉信号。为解决这些问题，我们提出了生成式早期阶段排序 (GESR) 范式，引入混合注意力 (MoA) 模块，利用多样化注意力机制弥补效果差距：硬匹配注意力 (HMA) 模块通过计算用户和物品特征之间的原始匹配计数来编码显式交叉信号；目标感知自注意力模块生成以物品为条件的目标感知用户表示，实现更个性化的学习；交叉注意力模块促进用户-物品特征的早期且更丰富的交互。MoA 的专用注意力编码进一步通过多逻辑参数化门控 (MLPG) 模块在最终层中被细化，该模块通过门控集成新学习的嵌入，并产生次要逻辑，其与主逻辑融合。为解决效率和延迟挑战，我们引入了一整套优化技术。这些技术涵盖了旨在最大化最新硬件能力的自定义内核到由缓存机制驱动的高效服务解决方案。所提出的 GESR 范式在toplule指标、参与度和消费任务方面均显示出显著的改进，经由离线和在线实验验证。据我们所知，这是首次在如此规模的 ESR 阶段成功部署了完整的目标感知注意力序列建模。
引用
@article{arxiv.2511.21095,
title = {Generative Early Stage Ranking},
author = {Juhee Hong and Meng Liu and Shengzhi Wang and Xiaoheng Mao and Huihui Cheng and Leon Gao and Christopher Leung and Jin Zhou and Chandra Mouli Sekar and Zhao Zhu and Ruochen Liu and Tuan Trieu and Dawei Sun and Jeet Kanjani and Rui Li and Jing Qian and Xuan Cao and Minjie Fan and Mingze Gao},
journal= {arXiv preprint arXiv:2511.21095},
year = {2025}
}