深度层次集成网络在广告转化率预测中的实践研究

点击率（CTR）和转化率（CVR）的预测在广告推荐系统的成功中起着关键作用。已提出一种深度层次集成网络（DHEN），用于整合多个特征交叉模块，在 CTR 预测中取得了极佳的成绩。然而，在转换广告场景下（即广告竞标用户在第三方网站或应用上进行离site动作的概率，例如购买、加入购物车、注册等）的 CVR 预测中，其表现如何仍不明了。DHEN 存在若干挑战：1）应在 DHEN 中包含哪些特征交叉模块（如 MLP、DCN、Transformer 等）？2）DHEN 应多深、应多宽，以在效率和有效性之间取得最佳平衡？3）应在每个特征交叉模块中选择哪些超参数？与模型架构相对立，输入的个人化特征也对模型性能影响极大，具有很大的自由度。本文针对这一问题提出我们的解决方案，主要面向应用数据科学侧，包括：首先，我们提出一个多任务学习框架，以 DHEN 作为单一的 backbone 模型架构来预测所有 CVR 任务，并详细研究如何使 DHEN 在实际中有效工作；其次，我们构建了用于 CVR 预测的本地实时用户行为序列和离site 转换事件序列，并进行了其重要性的消融研究；最后，我们提出一种自监督辅助损失，用于预测输入序列中的未来动作，以帮助解决 CVR 预测中标签稀疏的问题。我们的方法在使用预训练的用户个人化特征与单个特征交叉模块相比，实现了领先的性能。