自适应神经排序框架:面向级联排序系统业务目标最大化

级联排序广泛用于在线广告与推荐系统中的大规模top-k选择问题,而学习排序是优化级联排序中模型的重要手段。以往学习排序工作通常聚焦于让模型学习完整序或top-k序,并采用相应排序指标(如OPA和NDCG@k)作为优化目标。然而,这些目标无法适应具有不同数据复杂度和模型能力的各类级联排序场景;且现有如Lambda框架等指标驱动方法仅能优化有限指标的粗略上界,可能导致次优及性能错位。为解决这些问题,我们提出一种通过强调优化目标对数据复杂度与模型能力的适应性来优化级联排序系统的新视角。具体而言,我们采用多任务学习自适应地组合松弛目标与完整目标的优化,分别对应指标Recall@m@k与OPA。我们还引入置换矩阵表示排序指标,并采用可微排序技术以可控近似误差界松弛硬置换矩阵。这使我们能更直接且更恰当地优化松弛与完整目标。我们将此方法命名为自适应神经排序框架(简称ARF)。此外,我们在ARF下给出具体实践:使用NeuralSort获得松弛置换矩阵,并借鉴多任务学习中不确定性加权方法的变体联合优化所提损失。在共4个公开与工业基准上的实验显示了方法的有效性与泛化性,线上实验表明本方法具有显著应用价值。