面向广告分配的深度强化学习混合迁移方法
信息检索
2022-08-12 v3 机器学习
摘要
广告分配旨在将广告与自然条目分配至信息流中的有限槽位以最大化平台收益，已成为研究热点。需注意，电商平台通常具有面向不同品类的多个入口，且部分入口访问量极少。这些入口的数据覆盖度低，导致智能体难以学习。为应对该挑战，我们提出基于相似度的广告分配混合迁移（SHTAA），可有效将数据丰富入口的样本与知识迁移至数据匮乏入口。具体而言，我们定义了 MDP 的不确定性感知相似度以估计不同入口间 MDP 的相似度。基于此相似度，我们设计了一种混合迁移方法，包括实例迁移与策略迁移，以高效地将样本与知识从一个入口迁移至另一入口。在美团外卖平台上的离线与在线实验均表明，所提方法可提升数据匮乏入口的性能并增加平台收益。
引用
@article{arxiv.2204.11589,
title = {Hybrid Transfer in Deep Reinforcement Learning for Ads Allocation},
author = {Ze Wang and Guogang Liao and Xiaowen Shi and Xiaoxu Wu and Chuheng Zhang and Bingqi Zhu and Yongkang Wang and Xingxing Wang and Dong Wang},
journal= {arXiv preprint arXiv:2204.11589},
year = {2022}
}
备注
Accepted by CIKM-22 as a short paper