具有异质奖励方差的固定预算最优臂辨识
机器学习
2023-06-14 v1 机器学习
摘要
我们研究固定预算设置下具有异质奖励方差的最优臂辨识（BAI）问题。针对该设置，我们提出两种方差自适应 BAI 算法：已知奖励方差的 SHVar 与未知奖励方差的 SHAdaVar。我们的算法依赖于臂间非均匀预算分配，其中奖励方差较大的臂比方差较小的臂被更频繁地抽取。算法主要新颖性在于 SHAdaVar 的设计，其基于对方差的上估进行贪心预算分配。我们给出了 SHVar 与 SHAdaVar 中错认最优臂的概率界。我们的分析依赖于对臂抽取次数的新下界，且不需要预算分配问题的闭式解。由于我们的一个预算分配问题类似于未知方差下的最优实验设计，我们认为其结果具有广泛意义。实验验证了理论，并表明 SHVar 与 SHAdaVar 优于已有带分析保证的工作中的算法。
引用
@article{arxiv.2306.07549,
title = {Fixed-Budget Best-Arm Identification with Heterogeneous Reward Variances},
author = {Anusha Lalitha and Kousha Kalantari and Yifei Ma and Anoop Deoras and Branislav Kveton},
journal= {arXiv preprint arXiv:2306.07549},
year = {2023}
}