指数族分布贝叶斯赌博机的结构性质

我们研究了一个赌博机问题，其中每个臂的观测值服从指数族分布，且不同臂被分配了独立的共轭先验。在$n$个阶段中的每一阶段，基于过去的观测值选择一个臂。目标是找到一种策略，以最大化$n$个观测值的期望折现和。两个结构性质在广泛的一般性下成立：(i) 对于固定的先验权重，臂的先验均值越大，其越具吸引力；(ii) 对于固定的先验均值，臂的先验权重越小，其越具吸引力。这些性质推广并统一了文献中关于特定问题（包括伯努利和正态赌博机）的若干结果。第二个性质精确地捕捉了探索-利用困境的一个方面：在相同即时收益下，对某个臂了解越少，该臂就越具吸引力，因为选择该臂时仍有更多信息可获取。对于伯努利和正态赌博机，我们还获得了非共轭先验下的推广。