方差未知的双臂高斯老虎机中局部最优固定预算最佳臂识别
机器学习
2024-03-19 v2 计量经济学
统计理论
统计方法学
机器学习
统计理论
摘要
我们研究了双臂高斯老虎机中固定预算下的最佳臂识别 (BAI) 问题。在 BAI 中，给定多个臂，我们的目标是通过自适应实验找到最佳臂，即具有最高期望奖励的臂。Kaufmann et al. (2016) 推导了误识别最佳臂概率的下界。他们还提出了一种策略，假设奖励的方差是已知的，并证明了它是渐近最优的，即当预算趋于无穷大时，其误识别概率与下界相匹配。然而，当方差未知时，渐近最优策略尚不明确。针对这一开放问题，我们提出了一种在自适应实验过程中估计方差，并以估计标准差的比例抽取臂的策略。我们将此策略称为 Neyman Allocation (NA)-Augmented Inverse Probability weighting (AIPW) 策略。然后，我们通过证明当预算趋于无穷大且两臂期望奖励之间的差距趋于零（小差距机制）时，其误识别概率与下界相匹配，证明了该策略是渐近最优的。我们的结果表明，在小差距机制所表征的最坏情况下，即使方差未知，我们采用估计方差的策略也是渐近最优的。
引用
@article{arxiv.2312.12741,
title = {Locally Optimal Fixed-Budget Best Arm Identification in Two-Armed Gaussian Bandits with Unknown Variances},
author = {Masahiro Kato},
journal= {arXiv preprint arXiv:2312.12741},
year = {2024}
}