基于 POMDP 的相关广告序贯选择

在线广告已成为网络搜索引擎和在线出版商的关键收入来源。对于它们而言，将合适的广告投放到合适的网页上的能力至关重要，因为任何不匹配的广告不仅会损害网络用户的满意度，还会降低广告收入。本文研究了在线出版商如何最优地选择广告以随时间最大化其广告收入。传统的基于内容的离线网页与广告匹配是一个良好的开端，但无法完全解决问题，因为良好的匹配不一定导致良好的收益。此外，受限于有限的展示印象，我们需要在探索（选择广告以了解真实广告收益）与利用（基于当前信念分配广告以产生高即时收益）之间取得平衡。本文通过采用部分可观测马尔可夫决策过程 (POMDP) 来解决该问题，并讨论了如何利用广告的相关性来提高探索效率并从长远来看增加广告收入。我们的数学推导表明，相关广告的信念状态可以使用类似于协同过滤的公式进行自然更新。为了测试我们的模型，我们收集并分类了来自某主要搜索引擎的真实世界广告数据集。通过对数据进行实验，我们分析了底层参数的影响，并证明我们的算法显著优于其他强基线方法。