面向多目标用户画像建模的虚拟核专家混合模型
信息检索
2022-06-01 v2 机器学习
摘要
在在线广告和推荐系统等工业应用中，多样且准确的用户画像可极大帮助提升个性化。深度学习被广泛用于从用户系统中的历史交互（如广告链路中的点击、转化行为）挖掘富有表现力的标签。通常做法是取某一行为作为目标，并引入多个独立的双塔模型来预测用户对标签的行为可能性（即已知的 CTR 或 CVR 预测）。预测出的用户高概率吸引标签用以表示其偏好。然而，单行为模型无法互补学习，且难以在数据稀疏行为上有效训练。此外，受限于双塔间信息融合的缺失，模型学习不足以很好地表示用户在各标签主题上的偏好。本文提出一种名为虚拟核专家混合 (MVKE) 的新型多任务模型，统一学习用户在各行为及主题上的偏好。在 MVKE 中，我们提出虚拟核专家的概念，其专注于对用户偏好的某一特定方面建模，且所有专家协调学习。此外，MVKE 中使用的基于门的结构在双塔间构建了信息融合桥梁，提升了模型能力并保持高效率。我们将该模型应用于腾讯广告系统，线上与离线评估均显示我们的方法相较已有方法有明显提升，并为实际广告收入带来显著增长。
引用
@article{arxiv.2106.07356,
title = {Mixture of Virtual-Kernel Experts for Multi-Objective User Profile Modeling},
author = {Zhenhui Xu and Meng Zhao and Liqun Liu and Lei Xiao and Xiaopeng Zhang and Bifeng Zhang},
journal= {arXiv preprint arXiv:2106.07356},
year = {2022}
}
备注
11 pages, accepted by SIGKDD'2022