基于对比学习的注意力加权混合专家模型用于电商个性化排序
信息检索
2023-06-09 v1 机器学习
摘要
排序模型在电商搜索与推荐中起着至关重要的作用。一个有效的排序模型应根据用户偏好为每个用户给出个性化的排序列表。现有算法通常从用户行为序列中提取用户表示向量，然后将该向量与其他特征一起输入前馈网络(FFN)进行特征交互，最终产生个性化排序分数。尽管过去取得了巨大进展，仍有改进空间。首先，不同用户的特征交互个性化模式未被显式建模。其次，由于数据稀疏，现有大多数算法对历史行为较少的长尾用户个性化排序效果较差。为克服这两大挑战，我们提出基于对比学习的注意力加权混合专家(AW-MoE)模型用于个性化排序。首先，AW-MoE利用MoE框架捕捉不同用户的个性化特征交互。为建模用户偏好，用户行为序列被同时输入专家网络与门控网络。在门控网络中，设计了一个门控单元和一个激活单元，利用注意力机制自适应地学习专家的细粒度激活向量。其次，对用户行为序列施加随机掩码策略以模拟长尾用户，并对门控网络输出施加辅助对比损失，以提升模型对这些用户的泛化能力。这在长尾用户测试集上更高的性能提升得到了验证。在京东真实生产数据集与公开数据集上的实验结果证明了AW-MoE的有效性，其显著优于最先进的方法。值得注意的是，AW-MoE已成功部署于京东电商搜索引擎中，……
引用
@article{arxiv.2306.05011,
title = {Attention Weighted Mixture of Experts with Contrastive Learning for Personalized Ranking in E-commerce},
author = {Juan Gong and Zhenlin Chen and Chaoyi Ma and Zhuojian Xiao and Haonan Wang and Guoyu Tang and Lin Liu and Sulong Xu and Bo Long and Yunjiang Jiang},
journal= {arXiv preprint arXiv:2306.05011},
year = {2023}
}
备注
Accepted by ICDE2023