面向 Top-Two 算法的信息导向选择
机器学习
2023-07-18 v3 机器学习
摘要
我们考虑多臂老虎机的最佳 k 臂识别问题，其目标是通过顺序分配测量努力来选出具有最高平均奖励的 k 个臂的精确集合。我们利用对偶变量刻画了最优分配的充要条件。值得注意的是，这些最优条件导致了 top-two 算法设计原则（Russo, 2020）的扩展，该原则最初是为最佳臂识别提出的。此外，我们的最优条件引出了一种简单而有效的选择规则，称为信息导向选择（IDS），其基于信息增益的度量从两个最佳候选中选择一个。作为理论保证，我们证明了与 IDS 结合的 top-two Thompson 采样对于高斯最佳臂识别是（渐近）最优的，解决了纯探索文献中一个引人注目的开放问题（Russo, 2020）。作为副产品，我们表明对于 k > 1，即使算法可访问未知的“最优”调优参数，top-two 算法也无法达到最优。数值实验显示了所提出的带 IDS 的 top-two 算法的优越性能，以及与无自适应选择的算法相比的显著改进。
引用
@article{arxiv.2205.12086,
title = {Information-Directed Selection for Top-Two Algorithms},
author = {Wei You and Chao Qin and Zihao Wang and Shuoguang Yang},
journal= {arXiv preprint arXiv:2205.12086},
year = {2023}
}
备注
Accepted for presentation at the Conference on Learning Theory (COLT) 2023