关于预排序阶段的排序一致性

工业级排序系统（如广告系统）通过将多个目标聚合成一个最终目标来对物品排序，以满足用户需求与商业意图。通常采用由检索、预排序和排序阶段组成的级联架构以降低计算成本。每个阶段可能针对不同目标采用不同模型，并通过聚合这些模型输出来计算最终目标。多阶段排序策略引发了一个新问题——排序阶段与前序阶段的排序列表可能不一致。例如，应在排序阶段位居前列的物品可能在先前阶段排在末尾。本文关注预排序与排序阶段之间的排序一致性。具体而言，我们形式化定义了排序一致性问题，并提出排序一致性分数（RCS）度量用于评估。我们证明排序一致性对线上性能有直接影响。相较于主要关注各目标独立排序质量的传统评估方式，RCS 考虑了融合最终目标的排序一致性，更适用于评估。最后，为提升排序一致性，我们从样本选择与学习算法角度提出若干方法。在中国最大的工业级电子商务平台之一的实验结果验证了所提度量与方法的效力。