基于模型蒸馏的多目标学习排序
信息检索
2024-07-11 v1
摘要
在在线市场中，搜索排序的目标不仅是购买或转化（Primary objective），还包括购买后的结果（secondary objectives），例如订单取消（或退货）、评论评分、客户服务查询、平台长期增长等。多目标学习排序已被广泛研究以平衡primary和secondary目标。但传统方法在行业中面临一些挑战，包括昂贵的参数调优导致次优解、数据稀疏性不平衡问题，以及不兼容临时性目标。本文提出了一种基于蒸馏的排序解决方案，用于多目标排序，该方法在考虑多种因素以优化训练和服务效率以满足行业标准的同时，对Airbnb跨多个排序模型（针对不同目标）进行端到端优化。我们发现其优于传统方法，不仅在显著提升primary目标方面取得大幅进步，还能满足secondary目标约束并提高模型稳定性。我们还展示了该系统可通过模型自蒸馏进一步简化。此外，我们进行了额外的仿真，表明该方法还能帮助我们有效地将非可微的业务目标注入排序系统，同时实现优化目标的平衡。
引用
@article{arxiv.2407.07181,
title = {Multi-objective Learning to Rank by Model Distillation},
author = {Jie Tang and Huiji Gao and Liwei He and Sanjeev Katariya},
journal= {arXiv preprint arXiv:2407.07181},
year = {2024}
}