通过预言机模仿学习实现实时拍卖中的自动出价
机器学习
2025-05-20 v3 人工智能
摘要
在线广告已成为互联网时代最成功的商业模式之一。展示机会通常通过实时拍卖分配，广告商竞标以获得广告位。由于用户行为的随机性和广告流量随时间的变化，为一次展示机会决定最佳出价具有挑战性。在这项工作中，我们提出了一个训练自动出价智能体的框架，用于多槽第二价格拍卖，以最大化获取量（如点击、转化），同时遵守预算和每次获取成本（CPA）约束。我们利用一个洞察：在广告活动结束后，确定每个展示机会的最优出价可以建模为具有非线性目标的多选背包问题（MCKP）。我们提出了一种“预言机”算法，该算法考虑过去和未来的广告流量数据，识别出展示机会和广告位的近似最优组合。该预言机解决方案作为学生网络的训练目标，学生网络仅能访问实时信息进行出价，我们将此方法称为预言机模仿学习（OIL）。通过数值实验，我们证明OIL相比在线和离线强化学习算法均取得了优越的性能，具有更好的样本效率。值得注意的是，OIL将训练自动出价智能体的复杂性从设计复杂的学习算法转移到了高效求解非线性约束优化问题上。
引用
@article{arxiv.2412.11434,
title = {Auto-bidding in real-time auctions via Oracle Imitation Learning (OIL)},
author = {Alberto Silvio Chiappa and Briti Gangopadhyay and Zhao Wang and Shingo Takamatsu},
journal= {arXiv preprint arXiv:2412.11434},
year = {2025}
}