具有任意反馈延迟的无尺度对抗多臂_bandit问题

我们考虑具有无限制反馈延迟的无尺度对抗多臂_bandit（MAB）问题。与损失均为$[0,1]$有界的标准假设不同，在我们的设定中，损失可落于一般有界区间$[-L, L]$内，且智能体事先未知。此外，每次臂拉动的反馈可经历任意延迟。我们针对此新设定提出了一种名为无尺度延迟INF（SFD-INF）的新方法，其结合了近期的“凸组合技巧”与一种新颖的倍增跳过技术。随后我们给出SFD-INF的两个实例，各自带有精心设计的延迟自适应学习尺度。第一个SFD-TINF使用$\frac 12$-Tsallis熵正则化器，在损失非负时可达到$\widetilde{\mathcal O}(\sqrt{K(D+T)}L)$遗憾，其中$K$为动作数，$T$为步数，$D$为总反馈延迟。当将$K$视为独立于$T$的常数时，该界几乎匹配$\Omega((\sqrt{KT}+\sqrt{D\log K})L)$下界。第二个SFD-LBINF适用于一般无尺度损失，并达到小损失风格的自适应遗憾界$\widetilde{\mathcal O}(\sqrt{K\mathbb{E}[\tilde{\mathfrak L}_T^2]}+\sqrt{KDL})$，其在最坏情况下退化为$\widetilde{\mathcal O}(\sqrt{K(D+T)}L)$遗憾，因此尽管分析更复杂且多出若干对数依赖，仍比SFD-TINF更通用。此外，两个实例也优于现有的无延迟（即$D=0$）无尺度对抗MAB问题算法，这本身具有独立意义。