具有概率图反馈的随机在线学习

我们考虑一个具有一般概率图反馈的随机在线学习问题，其中反馈图中的每条有向边具有概率 $p_{ij}$。涵盖两种情况。(a) 单步情况，即在播放臂 $i$ 之后，学习者以独立概率 $p_{ij}$ 观察到臂 $j$ 的样本奖励反馈。(b) 级联情况，即在播放臂 $i$ 之后，学习者观察到从 $i$ 开始的概率级联中所有臂 $j$ 的反馈——对于每个 $(i,j)$，以概率 $p_{ij}$，如果臂 $i$ 被播放或观察到，则臂 $j$ 的奖励样本将以独立概率 $p_{ij}$ 被观察到。先前的工作主要关注确定性图（对应于 $p_{ij} \in \{0,1\}$ 的单步情况）、具有特定拓扑保证的对抗性图序列，或特定类型的随机图。我们分析了两种情况下的渐近下界，并设计了算法。算法的遗憾上界以高概率匹配下界。