中文

对偶_bandit的组合纯探索

机器学习 2020-06-24 v1 数据结构与算法 机器学习

摘要

本文研究对偶bandit的组合纯探索(CPE-DB):如二分图所建模,我们在多个位置上具有多个候选者,每轮我们抽取某一位置上两个候选者的一次对决并观测谁在对决中胜出,目标是在多轮采样后以高概率找到最佳的候选者-位置匹配。CPE-DB是将原始的多臂bandit组合纯探索(CPE-MAB)问题适配到对偶bandit设定。我们考虑Borda胜者与Condorcet胜者两种情况。对于Borda胜者,我们建立了该问题到原始CPE-MAB设定的归约,并设计了PAC与精确算法,其既达到了与CPE-MAB设定中相近的采样复杂度(对一类问题近乎最优),又具有每轮多项式运行时间。对于Condorcet胜者,我们首先为已知胜出概率下寻找Condorcet胜者的离线问题设计了完全多项式时间近似方案(FPTAS),然后将该FPTAS作为预言机设计了一种新颖的纯探索算法CAR{\sf CAR}-Cond{\sf Cond}并给出采样复杂度分析。CAR{\sf CAR}-Cond{\sf Cond}是首个在CPE-DB中识别Condorcet胜者且具有每轮多项式运行时间的算法。

关键词

引用

@article{arxiv.2006.12772,
  title  = {Combinatorial Pure Exploration of Dueling Bandit},
  author = {Wei Chen and Yihan Du and Longbo Huang and Haoyu Zhao},
  journal= {arXiv preprint arXiv:2006.12772},
  year   = {2020}
}

备注

Accepted to ICML 2020