展示广告中基于多智能体强化学习的实时竞价
机器学习
2018-11-02 v2 人工智能
机器学习
摘要
实时广告允许广告主为每个访问用户的曝光进行竞价。为优化由广告投放带来的特定目标，如最大化收益与投资回报率 (ROI)，广告主不仅需要估计广告与用户兴趣之间的相关性，最重要的是需要针对市场中其他广告主的竞价作出策略性响应。本文中，我们用多智能体强化学习来表述竞价优化问题。为处理大量广告主，我们提出一种聚类方法，并为每个簇分配一个策略竞价智能体。我们提出并实现了一种实用的分布式协调多智能体竞价 (DCMAB)，以平衡广告主间竞争与合作的权衡。基于工业规模的真实世界数据的实证研究表明了我们所提方法的有效性。我们的结果显示，基于簇的竞价将大幅优于单智能体与 bandit 方法，且协调竞价比纯粹利己的竞价智能体实现了更好的总体目标。
引用
@article{arxiv.1802.09756,
title = {Real-Time Bidding with Multi-Agent Reinforcement Learning in Display Advertising},
author = {Junqi Jin and Chengru Song and Han Li and Kun Gai and Jun Wang and Weinan Zhang},
journal= {arXiv preprint arXiv:1802.09756},
year = {2018}
}