在线展示广告中曝光分配的多智能体强化学习方法
人工智能
2018-09-11 v1 计算机科学与博弈论
机器学习
摘要
在在线展示广告中，保量合约与实时竞价（RTB）是发布商出售曝光的两种主要方式。尽管RTB日益流行，仍有半数在线展示广告收益来自保量合约。因此，发布商同时通过保量合约与RTB出售曝光以最大化其收益是直观的选择。然而，推导最优的曝光分配策略并非易事，尤其在真实应用环境不稳定时。本文将曝光分配问题建模为一个拍卖问题，其中每个合约可针对单个曝光提交虚拟出价。基于此建模，我们通过求解合约的最优出价函数得到最优曝光分配策略。由于合约出价由发布商决定，我们提出一种多智能体强化学习（MARL）方法，为发布商推导协作策略以在不稳定环境中最大化收益。该方法还解决了MARL中的常见挑战，如输入维度爆炸、奖励信用分配与非平稳环境。在大规模真实数据集上的实验评估证明了我们方法的有效性。
引用
@article{arxiv.1809.03152,
title = {A Multi-Agent Reinforcement Learning Method for Impression Allocation in Online Display Advertising},
author = {Di Wu and Cheng Chen and Xun Yang and Xiujun Chen and Qing Tan and Jian Xu and Kun Gai},
journal= {arXiv preprint arXiv:1809.03152},
year = {2018}
}