基于 SPRT 的随机_bandit 中高效最佳臂辨识
机器学习
2023-06-26 v3 机器学习
摘要
本文研究固定置信设定下随机多臂 bandit 中的最佳臂辨识（BAI）问题。我们考虑指数族 bandit 的通用类。现有的指数族 bandit 算法面临计算挑战。为缓解这些挑战，我们将 BAI 问题视作并分析为序贯复合假设检验任务，并提出一种采用基于似然比检验的框架，此类检验对序贯检验已知有效。基于该检验统计量，我们设计了一种 BAI 算法，其利用典型的序贯概率比检验进行臂选择，并便于对指数族 bandit 作可处理的分析。该算法有两个关键特征：（1）其样本复杂度渐近最优；（2）其保证为 PAC。现有高效方法聚焦于高斯设定，且需要对被视为最佳臂与挑战臂的臂使用 Thompson sampling。此外，本文解析量化了现有方法中辨识挑战臂的计算开销。最后，给出数值实验以支持上述分析。
引用
@article{arxiv.2207.11158,
title = {SPRT-based Efficient Best Arm Identification in Stochastic Bandits},
author = {Arpan Mukherjee and Ali Tajer},
journal= {arXiv preprint arXiv:2207.11158},
year = {2023}
}