面向电商赞助搜索多目标优化的多智能体协作竞价博弈
人工智能
2021-06-09 v1 计算机科学与博弈论
多智能体系统
摘要
从单一广告主视角出发的在线广告出价优化在学术研究和工业实践中均已得到充分探讨。然而，现有工作通常假设竞争对手不改变其出价，即胜出价格固定，导致所得方案的性能不佳。尽管少数研究利用多智能体强化学习构建协作博弈，但仍存在以下缺陷：(1) 它们未能避免共谋解，即参与拍卖的所有广告主故意串通以极低价格出价。(2) 先前工作无法很好地处理底层复杂竞价环境，导致模型收敛性差。在处理广告主的多重目标（这是实际需求但未被先前工作考虑）时，该问题可能被放大。本文提出一种称为多智能体协作竞价博弈（MACG）的新型多目标协作出价优化形式化方法。MACG 构建了一个精心设计的多目标优化框架，其中纳入了广告主的不同目标。为鼓励更好的协作并保护自主出价广告主，加入了最大化所有广告总体利润的全球目标。为避免共谋，我们还引入了额外的平台收益约束。我们从理论上分析了出价公式的最优函数形式，并据此设计策略网络以生成拍卖级出价。随后我们设计了一种高效的多智能体进化策略用于模型优化。在淘宝平台上进行的离线实验与在线 A/B 测试表明，与 SOTA 方法相比，单一广告主目标与全局利润均得到显著提升。
引用
@article{arxiv.2106.04075,
title = {Multi-Agent Cooperative Bidding Games for Multi-Objective Optimization in e-Commercial Sponsored Search},
author = {Ziyu Guan and Hongchang Wu and Qingyu Cao and Hao Liu and Wei Zhao and Sheng Li and Cai Xu and Guang Qiu and Jian Xu and Bo Zheng},
journal= {arXiv preprint arXiv:2106.04075},
year = {2021}
}