AliExpress 排序学习：无需上线即可最大化在线模型性能
机器学习
2021-01-01 v5 人工智能
机器学习
摘要
排序学习（LTR）已成为电子商务应用中的关键技术。大多数现有 LTR 方法遵循从在线系统收集的离线标注数据进行监督学习的范式。然而，已注意到先前的 LTR 模型可能在离线验证数据上验证性能良好但在线性能差，反之亦然，这意味着离线与在线评估之间可能存在较大不一致。我们在本文中调查并确认了这种不一致的存在，且其可对 AliExpress 搜索产生显著影响。不一致的原因包括学习过程中忽略物品上下文，以及离线数据集不足以学习上下文。因此，本文提出了一种带物品上下文的 LTR 评估器-生成器框架。该框架由一个泛化以评估涉及上下文的推荐的评估器、一个通过强化学习最大化评估器得分的生成器，以及一个确保评估器泛化的判别器组成。在仿真环境与 AliExpress 搜索在线系统中的大量实验表明：首先，离线数据集上基于经典数据的指标可与在线性能呈现显著不一致，甚至具有误导性；其次，所提评估器得分比常见排序指标与在线性能显著更一致；最后，作为结果，我们的方法在在线 A/B 测试中相对于工业级精调模型在转化率（CR）上取得了显著提升（\textgreater）。
引用
@article{arxiv.2003.11941,
title = {AliExpress Learning-To-Rank: Maximizing Online Model Performance without Going Online},
author = {Guangda Huzhang and Zhen-Jia Pang and Yongqing Gao and Yawen Liu and Weijie Shen and Wen-Ji Zhou and Qing Da and An-Xiang Zeng and Han Yu and Yang Yu and Zhi-Hua Zhou},
journal= {arXiv preprint arXiv:2003.11941},
year = {2021}
}