面向实时竞价的功能优化强化学习
人工智能
2022-09-14 v3 机器学习
摘要
实时竞价是程序化广告的新范式。广告主希望智能地选择利用 \textbf{需求方平台(Demand-Side Platform)} 来提升其广告活动的效果。现有方法由于竞价的随机性难以提供令人满意的竞价优化方案。在本文中,我们提出了一种具有功能优化的多智能体强化学习架构用于 RTB。我们设计了四个智能体的竞价环境:三个基于拉格朗日乘数的功能优化智能体和一个基线智能体(无任何功能优化属性)。首先,为每个智能体分配了众多属性,包括有偏或无偏胜出概率、拉格朗日乘数和点击率。为评估所提 RTB 策略的性能,我们在十个顺序模拟拍卖活动上展示了结果。结果表明,在分别给定有偏和无偏胜出信息的情况下,具有功能动作和奖励的智能体拥有最显著的平均胜出率和胜出盈余。实验评估表明,我们的方法显著提升了广告活动的效能和盈利性。
引用
@article{arxiv.2206.13939,
title = {Functional Optimization Reinforcement Learning for Real-Time Bidding},
author = {Yining Lu and Changjie Lu and Naina Bandyopadhyay and Manoj Kumar and Gaurav Gupta},
journal= {arXiv preprint arXiv:2206.13939},
year = {2022}
}