上下文多臂老虎机的产品化挑战
信息检索
2019-07-12 v1 机器学习
摘要
上下文多臂老虎机(Contextual Multi-Armed Bandits)是一种公认且被广泛接受的在线优化算法，被用于许多 Web 体验中，以根据用户流量定制内容或展示。已有大量文献探讨所提算法变体的理论保证（如遗憾界），但相对较少关注在大规模环境中产品化上下文老虎机方案时遇到的挑战。本文列举了我们在两个具体大规模用例中利用上下文老虎机时遇到的若干产品化挑战。我们讨论了如何(1)确定建模老虎机臂的上下文（设计特征）；(2)对优化过程进行健全性检查；(3)以离线方式评估该过程；(4)向运行中的过程动态添加潜在动作（臂）；(5)使决策过程受约束限制；以及(6)迭代改进在线学习算法。针对每项挑战，我们解释问题、提供我们的方法，并在适用时关联已有研究。
引用
@article{arxiv.1907.04884,
title = {Productization Challenges of Contextual Multi-Armed Bandits},
author = {David Abensur and Ivan Balashov and Shaked Bar and Ronny Lempel and Nurit Moscovici and Ilan Orlov and Danny Rosenstein and Ido Tamir},
journal= {arXiv preprint arXiv:1907.04884},
year = {2019}
}