GAS：基于后训练搜索的生成式自动投标
人工智能
2025-06-04 v2
摘要
自动投标是促进在线广告中自动投标的关键技术。生成式自动投标利用如 transformer 和 diffuser 等模型基于可调整条件生成投标价值，最近成为一种新趋势，由于其能够直接从数据中学习最优策略并灵活调整以适应偏好。然而，生成模型因低质量数据导致条件（如 return to go）与真实行动价值之间存在不匹配，尤其是在长序列决策中。此外，数据集中主导偏好可能阻碍模型对少数广告主偏好的泛化能力。虽然可以收集高质量数据并为不同偏好训练多个模型，但高昂的成本使其难以实现，阻碍了自动投标向大型基础模型时代的发展。为此，我们提出了一种灵活且实用的生成式自动投标方案，称为 GAS，通过后训练搜索来细化基本策略模型的输出并适应各种偏好。我们采用小型评估者训练不同偏好进行弱到强搜索对齐，并采用基于 MCTS 的搜索来细化模型的输出。具体而言，一种新颖的投票机制结合基于策略指示训练的 transformer 评估者，可增强搜索对齐性能。此外，利用该搜索，我们提供一种针对高频偏好场景的微调方法，考虑计算效率。大量在真实数据集上的实验以及在快手广告平台上的在线 A/B 测试结果表明，GAS 的有效性，实现了显著的改进，例如目标成本提升 4.60%。
引用
@article{arxiv.2412.17018,
title = {GAS: Generative Auto-bidding with Post-training Search},
author = {Yewen Li and Shuai Mao and Jingtong Gao and Nan Jiang and Yunjian Xu and Qingpeng Cai and Fei Pan and Peng Jiang and Bo An},
journal= {arXiv preprint arXiv:2412.17018},
year = {2025}
}