面向部分监测的兼得算法

本研究考虑具有 $k$ 个动作和 $d$ 个结果的部监测问题，并给出了首批兼得算法，其 regret 在随机与对抗两种情形下均有良好上界。具体而言，我们证明：对于非退化局部可观测博弈，在随机情形下 regret 为 $O(m^2 k^4 \log(T) \log(k_{\Pi} T) / \Delta_{\min})$，在对抗情形下为 $O(m k^{2/3} \sqrt{T \log(T) \log k_{\Pi}})$，其中 $T$ 为轮数，$m$ 为每个动作的最大不同观测数，$\Delta_{\min}$ 为最小次优间隙，$k_{\Pi}$ 为帕累托最优动作数。此外，我们证明：对于全局可观测博弈，在随机情形下 regret 为 $O(c_{\mathcal{G}}^2 \log(T) \log(k_{\Pi} T) / \Delta_{\min}^2)$，在对抗情形下为 $O((c_{\mathcal{G}}^2 \log(T) \log(k_{\Pi} T))^{1/3} T^{2/3})$，其中 $c_{\mathcal{G}}$ 为依赖于博弈的常数。我们还给出了带对抗污染的随机情形下的 regret 上界。我们的算法基于跟随正则化领导者框架，并受反馈图在线学习领域中通过优化进行探索与自适应学习率方法的启发。