用于单峰_bandit的单峰 Thompson 采样

本文提出一种用于\emph{单峰}（unimodal）bandit的 Thompson Sampling 算法，其中期望奖励在偏序臂上呈单峰分布。为更好地利用单峰结构，在每一步，我们的算法并非从整个决策空间进行探索，而是仅依据后验分布在经验均值估计最高的臂的邻域内做决策。我们从理论上证明，对于伯努利奖励，我们算法的后悔达到单峰bandit的下界，因此是渐近最优的。对于高斯奖励，我们算法的后悔为 $\mathcal{O}(\log T)$，远优于标准 Thompson Sampling 算法。大量实验证明了所提算法在合成数据集与真实世界应用上的有效性。