多臂老虎机中聚类与历史信息的最优利用
机器学习
2019-06-11 v1 机器学习
摘要
我们考虑具有历史观测和预聚类臂的随机多臂老虎机问题和上下文老虎机问题。历史观测可包含每个臂的任意数量样本，而预聚类信息作为输入的一部分以固定的臂聚类形式给出。我们开发了多种算法，在在线探索阶段有效利用这些离线信息，并推导了它们的后悔界。特别地，我们开发了 META 算法，该算法在另外两种算法之间有效对冲：一种同时使用历史观测和聚类信息，另一种仅使用历史观测。当聚类质量良好时前者优于后者，反之亦然。在 Warafin 药物剂量和用于最小化延迟的 Web 服务器选择等合成与真实世界数据集上的大量实验验证了我们的理论见解，并表明 META 是一种最优利用预聚类信息的鲁棒策略。
引用
@article{arxiv.1906.03979,
title = {Optimal Exploitation of Clustering and History Information in Multi-Armed Bandit},
author = {Djallel Bouneffouf and Srinivasan Parthasarathy and Horst Samulowitz and Martin Wistub},
journal= {arXiv preprint arXiv:1906.03979},
year = {2019}
}
备注
IJCAI 2019, International Joint Conferences on Artificial Intelligence