DADNN：基于域感知深度神经网络的多场景点击率预测
人工智能
2020-11-25 v1 信息检索
机器学习
摘要
点击率（CTR）预测是广告系统中的核心任务。本公司电子商务业务的蓬勃发展导致场景数量不断增长。其中大多数是所谓的长尾场景，即单个场景的流量有限，但总体流量可观。典型研究主要聚焦于用精心设计的模型服务于单一场景。然而，这种方法在离线训练和在线服务上均带来过高的资源消耗。此外，简单地用多场景数据训练单一模型忽略了各场景自身的特点。为应对这些挑战，我们提出一种新颖而实用的模型——域感知深度神经网络（DADNN），仅用单一模型服务于多个场景。具体而言，所有场景间共享底层模块以学习通用表示，而域特定头部保持每个场景的特性。此外，引入知识迁移以增强不同场景间知识共享的机会。本文研究了 DADNN 的两个实例，其共享底层模块分别为多层感知机（MLP）和多门混合专家（MMoE），分别记为 DADNN-MLP 和 DADNN-MMoE。在来自本公司的真实生产数据集上的综合离线实验表明，DADNN 在多场景 CTR 预测上优于多种最先进（SOTA）方法。广泛的在线 A/B 测试显示，与精心设计的 DCN 模型相比，DADNN-MLP 带来高达 6.7% 的 CTR 和 3.0% 的 CPM（每千次成本）提升。更重要的是，DADNN-MMoE 在 CTR 和 CPM 上分别相对 DADNN-MLP 提升 2.2% 和 2.7%。此外，DADNN 用单一模型服务于多场景，节省了大量离线训练和在线服务资源。
引用
@article{arxiv.2011.11938,
title = {DADNN: Multi-Scene CTR Prediction via Domain-Aware Deep Neural Network},
author = {Junyou He and Guibao Mei and Feng Xing and Xiaorui Yang and Yongjun Bao and Weipeng Yan},
journal= {arXiv preprint arXiv:2011.11938},
year = {2020}
}