Crocodile: 跨专家协方差用于多领域推荐中的解耦学习
信息检索
2024-11-21 v2
摘要
多领域学习（MDL）已成为提升个性化服务质量的重要课题。学习领域之间的共性和保留每个领域的独特特征至关重要。然而，这导致MDL中一个具有挑战性的困境。一方面，模型需要利用领域感知模块（如专家或嵌入）来保留每个领域的独特性。另一方面，真实世界的数据集通常呈现跨领域的长尾分布，其中一些领域可能缺乏足够的样本来有效训练其特定模块。不幸的是，几乎所有现有工作都未能解决这一困境。为此，我们提出了一种新的跨专家协方差损失用于解耦学习模型（Crocodile），该模型使用多个嵌入表使模型在嵌入层面（包含模型大部分参数）具有领域感知能力，并对这些嵌入施加协方差损失以解耦它们，使模型能够捕获不同领域间的多样化用户兴趣。实证分析表明，我们的方法成功解决了这两个挑战，并在公共数据集上优于所有最先进的方法。在腾讯广告平台的在线A/B测试中，Crocodile在一个主要广告场景中实现了0.72%的点击率提升和0.73%的GMV提升。
引用
@article{arxiv.2405.12706,
title = {Crocodile: Cross Experts Covariance for Disentangled Learning in Multi-Domain Recommendation},
author = {Zhutian Lin and Junwei Pan and Haibin Yu and Xi Xiao and Ximei Wang and Zhixiang Feng and Shifeng Wen and Shudong Huang and Dapeng Liu and Lei Xiao},
journal= {arXiv preprint arXiv:2405.12706},
year = {2024}
}