重新思考预排序在大规模电商搜索系统中的作用

电商搜索系统（如中国最大的电商搜索系统淘宝搜索）旨在为用户提供最偏好的物品（如商品）。由于数据量巨大且响应时间有限，典型的工业排序系统由三个或更多模块组成，包括匹配、预排序和排序。预排序被广泛视为一个迷你排序模块，因为它需要在有限延迟下对比排序多数百倍的物品进行排序。现有研究集中于构建轻量模型以模仿排序模型。因此，预排序模型的评估指标沿用排序模型，使用ROC曲线下面积（AUC）进行离线评估。然而，该指标在实践中与在线A/B测试不一致，工程师不得不进行高成本的在线测试以得出令人信服的结论。在我们的工作中，我们重新思考预排序的作用。我们认为预排序阶段的主要目标是返回一个最优的无序集合而非有序物品列表，因为决定最终曝光的是排序。由于AUC衡量有序物品列表的质量，它不适合评估输出无序集合的质量。本文提出一种称为全场景命中率（ASH）的预排序新评估指标。基于淘宝搜索的大量实验，ASH被证明在离线评估中有效且与在线A/B测试一致。我们还引入了基于全场景的多目标学习框架（ASMOL），其显著提升了ASH。令人惊讶的是，新的预排序模型在输出数千个物品时可以优于排序模型。该现象验证了预排序阶段不应盲目模仿排序。随着ASH的改进持续转化为在线提升，其在淘宝搜索上实现了1.2%的GMV提升。