一种用于在线广告自动出价的合作-竞争多智能体框架

在线广告中，自动出价已成为广告主通过简单表达高层级投放目标与约束来优化其偏好广告性能指标的重要工具。以往工作从单智能体视角设计自动出价工具，未对智能体间的相互影响进行建模。本文转而从分布式多智能体视角考量该问题，提出一种面向自动出价(Auto-Bidding)的通用多智能体强化学习框架，即 MAAB，以学习自动出价策略。首先，我们探究自动出价智能体间的竞争与合作关系，提出温度正则化信用分配以建立混合合作-竞争范式。通过在智能体间审慎权衡竞争与合作，我们可达到一种均衡状态，既保障单个广告主的效用，也保障系统性能（即社会福利）。其次，为避免合作背后潜在的低价串标行为，我们进一步提出门槛智能体(bar agents)为每个智能体设定个性化出价门槛，从而缓解因合作导致的收益下降。第三，为在拥有数百万广告主的大规模广告系统中部署 MAAB，我们提出一种平均场方法。通过将目标相同的广告主归为一组作为平均自动出价智能体，大规模广告主间的交互被极大简化，使 MAAB 的高效训练具备可行性。在离线工业数据集与阿里巴巴广告平台上的大量实验表明，我们的方法在社会福利与收益方面优于若干基线方法。