面向实时广告的自适应展示曝光学习
机器学习
2019-09-04 v2 人工智能
机器学习
摘要
在电商广告中，产品推荐与产品广告同时呈现给用户，传统做法是在固定位置展示广告。然而，在此设定下，广告系统失去了控制广告数量与位置的灵活性，导致平台收益与用户体验次优。因此，主流电商平台（如Taobao.com）已开始考虑更灵活的广告展示方式。本文研究带自适应曝光的广告问题：能否在特定业务约束下，为每次用户访问动态确定广告的数量与位置，从而提升平台收益？更具体地，我们考虑两类约束：请求级约束保障每次用户访问的体验，平台级约束控制整体平台变现率。我们将该问题建模为带逐状态约束的约束马尔可夫决策过程（psCMDP），并提出一种约束双层强化学习方法来将原问题分解为两个相对独立的子问题。为加速策略学习，我们还设计了一种约束后见之明经验回放机制。在产业级真实数据集上的实验评估证明了我们的方法在约束下获得更高收益以及约束后见之明经验回放机制有效性方面的优点。
引用
@article{arxiv.1809.03149,
title = {Learning Adaptive Display Exposure for Real-Time Advertising},
author = {Weixun Wang and Junqi Jin and Jianye Hao and Chunjie Chen and Chuan Yu and Weinan Zhang and Jun Wang and Xiaotian Hao and Yixi Wang and Han Li and Jian Xu and Kun Gai},
journal= {arXiv preprint arXiv:1809.03149},
year = {2019}
}
备注
accepted by CIKM2019