推断对手并认清自我：在具有部分可观测对手的实时竞价中学习
计算机科学与博弈论
2019-03-01 v1 多智能体系统
摘要
实时竞价作为出售在线广告位最流行的机制之一，便于广告主触达其潜在客户。竞价优化的目标是在特定预算设置下最大化广告主的投资回报率（ROI）。一种直接的解决方案是以显式形式对竞价函数建模。然而，静态函数解在实践中缺乏泛化性，且对环境中的其他竞价者的随机行为不敏感。本文提出一种通用的多智能体框架，采用 actor-critic 方案来应对不完美信息博弈。我们首先引入一种新颖的深度注意力生存分析（DASA）模型来推断第二价格拍卖中的删失数据，其性能优于最先进的生存分析。此外，我们的方法将 DASA 模型作为对手模型引入每个智能体的策略学习过程，并发展了第二价格拍卖的平均场均衡分析。实验表明，在对市场进行推断的情况下，无论面对固定策略智能体还是动态学习智能体，市场都能更快地收敛到均衡。
引用
@article{arxiv.1902.11212,
title = {Infer Your Enemies and Know Yourself, Learning in Real-Time Bidding with Partially Observable Opponents},
author = {Manxing Du and Alexander I. Cowen-Rivers and Ying Wen and Phu Sakulwongtana and Jun Wang and Mats Brorsson and Radu State},
journal= {arXiv preprint arXiv:1902.11212},
year = {2019}
}