谱_bandit_中的最优臂辨识
机器学习
2020-05-21 v1 机器学习
摘要
我们研究具有图平滑约束的 bandit 模型中固定置信度下的最优臂辨识（Best Arm Identification, BAI）。我们提供并分析了一种高效的梯度上升算法，将该问题的样本复杂度计算为一个非光滑极大极小问题的解（顺便为无约束情形提供了简化的分析）。基于此算法，我们提出了一种渐近最优策略。此外，我们通过数值实验说明了该策略的效率以及平滑约束对样本复杂度的影响。BAI 在从参数调优到临床试验的许多应用中都是一个重要挑战。在 vanilla bandit 模型中它现已得到很好的理解，但现实世界问题通常涉及臂之间的某些依赖关系，需要更复杂的模型。假设臂上存在图结构是一种涵盖该现象的优雅实用方式，但迄今为止这仅用于遗憾最小化。解决带图约束的 BAI 涉及精细的优化问题，本文为这些问题提供了解决方案。
引用
@article{arxiv.2005.09841,
title = {Best Arm Identification in Spectral Bandits},
author = {Tomáš Kocák and Aurélien Garivier},
journal= {arXiv preprint arXiv:2005.09841},
year = {2020}
}
备注
To be published in International Joint Conference on Artificial Intelligence