Cross DQN：用于信息流广告分配的交叉深度 Q 网络
机器学习
2022-05-23 v4
摘要
电子商务平台通常在信息流中展示广告与自然条目的混合列表。一个关键问题是将信息流中的有限位置进行分配，以最大化总体收益并改善用户体验，这需要一个良好的用户偏好模型。排列信号不是对单个条目对用户行为的影响进行建模，而是对条目排列的影响进行建模，可能会带来更好的分配策略。然而，大多数先前的策略未能对此类信号进行建模，因此导致次优的性能。此外，广告曝光百分比（PAE）是广告分配中的一个重要指标。过高的 PAE 会损害用户体验，而过低的 PAE 会降低平台收益。因此，如何在将 PAE 约束在一定范围内的同时，在 PAE 约束下保持个性化推荐是一项挑战。在本文中，我们提出了交叉深度 Q 网络（Cross DQN），通过交叉不同条目的嵌入并使用多通道注意力机制对交叉后的序列进行建模，以提取关键的排列信号。此外，我们提出了一种辅助损失，用于对 PAE 进行批次级约束，以应对上述挑战。在离线实验中，与最先进的基线相比，我们的模型带来了更高的收益和更好的用户体验。此外，我们的模型在在线 A/B 测试中展现出显著提升，并已全面部署于美团信息流，为超过 3 亿用户提供服务。
引用
@article{arxiv.2109.04353,
title = {Cross DQN: Cross Deep Q Network for Ads Allocation in Feed},
author = {Guogang Liao and Ze Wang and Xiaoxu Wu and Xiaowen Shi and Chuheng Zhang and Yongkang Wang and Xingxing Wang and Dong Wang},
journal= {arXiv preprint arXiv:2109.04353},
year = {2022}
}
备注
Accepted by WWW-22