全阶段学习排序：面向多阶段系统的统一框架

概率排序原理（PRP）被视为信息检索（IR）系统设计的基础标准。该原则要求 IR 模块返回的结果列表依据底层用户兴趣进行排序，以最大化结果实用性。然而，我们指出在当代 IR 系统的每个阶段单独应用 PRP 是不恰当的。此类系统包含多个阶段（如检索、预排序、排序和重新排序阶段，本文中均予以考察）。每个阶段模型中固有的「选择偏差」显著影响最终呈现给用户的结果。为此，我们提出一种针对多阶段系统的改进排序原则，即通用概率排序原理（GPRP），以强调系统管道中各阶段的选择偏差以及用户底层兴趣。我们通过名为「全阶段学习排序」的统一算法框架实现 GPRP。核心思想是首先估计后续阶段的选择偏差，然后学习一个最符合下游模块选择偏差的排序模型，以将其排序结果的顶部结果输送至系统输出的最终排序列表中。我们使用仿真和实际 A/B 测试，对所开发的全阶段学习排序解决方案进行了广泛的实验评估。该算法在检索和排序阶段均被证明有效。自部署以来，该算法为平台带来了持续且显著的性能提升。