非平稳自动出价世界中的在线广告采购

当今的在线广告主通过与自动出价平台交互来采购数字广告展示：广告主通过设定预算、目标投资回报率、每次点击最大成本等杠杆来传达高层级采购目标。随后广告平台代表广告主采购展示，并向广告主报告最终采购转化（如点击）。实践中，广告主可能仅收到关于平台采购细节的极少信息，且采购结果受季节性模式、偶发系统损坏和市场趋势等非平稳因素影响，使得广告主难以有效优化杠杆决策。受此驱动，我们提出一种在线学习框架，帮助广告主在具有非平稳采购结果的现实老虎机反馈环境中，于一般长期约束下动态优化广告平台杠杆决策。特别地，我们引入一种用于在线决策的原始对偶算法，其具有多维决策变量、老虎机反馈和长期不确定约束。我们表明，当采购结果分别由随机、对抗、对抗损坏、周期和遍历过程生成时，我们的算法在多种世界中均实现低遗憾（regret），而无需知晓哪类过程为真实情况。最后，我们强调所提算法与理论结果可扩展至在线广告之外的应用。