广告交易平台中智能体最优响应策略的学习
计算机科学与博弈论
2019-02-12 v1 人工智能
摘要
广告交易平台被广泛应用于在线展示广告平台。在这些平台中运作的自主智能体必须学习相应的策略，以便与多样、不断变化且未知的市场进行有利可图的交互。我们从发布者的角度考虑这一问题，发布者通过标价机制与广告主进行策略性交互。该智能体面临的学习难题在于信息是删失的，即发布者仅知道某次展示是否售出，而无其他定量信息。我们使用Harsanyi-Bellman Ad Hoc Coordination(HBA)算法来解决这一问题，该算法将此交互概念化为随机贝叶斯博弈，并通过对在候选对手行为特征集上维持的概率信念做出最优响应来得出最优动作。我们对HBA进行了调整并将其应用于广告交易平台的删失信息场景。此外，针对随机型对手的情况，我们设计了一种基于Kaplan-Meier估计量的对手建模策略。我们使用仿真对所提出的方法进行了评估，结果表明HBA-KM实现了显著优于基线方法（包括Q-learning智能体和基于UCB的在线学习智能体）的竞争比与更低的收益方差，且与离线最优算法性能相当。
引用
@article{arxiv.1902.03588,
title = {Learning Best Response Strategies for Agents in Ad Exchanges},
author = {Stavros Gerakaris and Subramanian Ramamoorthy},
journal= {arXiv preprint arXiv:1902.03588},
year = {2019}
}