面向应用排序的残差多任务学习器
信息检索
2024-11-18 v1 机器学习
摘要
现代电商平台高度依赖建模多样化的用户反馈以提供个性化服务。因此，多任务学习已成为其排序系统的核心组成部分。然而，现有多任务学习方法面临两大挑战：一些缺乏对任务关系的显式建模，导致性能不佳；另一些因计算密集、可扩展性问题或依赖强假设而适用性有限。为解决这些局限并更好地适配我们的真实场景——Shopee 搜索的预排序阶段，本文提出 ResFlow，一种轻量级多任务学习框架，通过任务网络对应层间的残差连接实现高效的跨任务信息共享。在来自不同场景和模态的数据集上的大量实验证明了其相对于最先进方法的卓越性能和适应性。Shopee 搜索的在线 A/B 测试展示了其在大规模工业应用中的实用价值，在不增加系统延迟的情况下实现了 OPU (人均订单数) 1.29% 的提升。ResFlow 现已全面部署于 Shopee 搜索的预排序模块。为促进高效在线部署，我们提出了一种新的离线指标加权 Recall@K，它与我们的在线指标 OPU 很好地对齐，解决了长期存在的线上线下指标不一致问题。此外，我们在对物品排序时提出加性融合多任务分数，优于传统的乘性融合。代码已发布在 https://github.com/BrunoTruthAlliance/ResFlow。
引用
@article{arxiv.2411.09705,
title = {Residual Multi-Task Learner for Applied Ranking},
author = {Cong Fu and Kun Wang and Jiahua Wu and Yizhou Chen and Guangda Huzhang and Yabo Ni and Anxiang Zeng and Zhiming Zhou},
journal= {arXiv preprint arXiv:2411.09705},
year = {2024}
}