无向图上鲁棒的多智能体Bandit问题

我们考虑一种多智能体多臂bandit设置，其中$n$个诚实智能体通过网络协作以最小化后悔值，但$m$个恶意智能体可任意破坏学习。假设网络为完全图，现有算法在此设置下产生$O( (m + K/n) \log (T) / \Delta )$的后悔值，其中$K$为臂数，$\Delta$为臂间隙。对于$m \ll K$，这优于单智能体基线后悔值$O(K\log(T)/\Delta)$。本工作中，我们表明超越完全图情形时情况更为复杂。特别地，我们证明若在无向线图上使用最先进算法，诚实智能体在时间达到关于$K$和$n$的双指数之前会遭受（近乎）线性后悔。鉴于此负面结果，我们提出一种新算法，使得第$i$个智能体在任何连通无向图上的后悔值为$O( ( d_{\text{mal}}(i) + K/n) \log(T)/\Delta)$，其中$d_{\text{mal}}(i)$为$i$的恶意邻居数。因此，我们将现有后悔界推广至完全图之外（此时$d_{\text{mal}}(i) = m$），并表明恶意智能体的影响完全是局部的（即仅与$i$直接相连的$d_{\text{mal}}(i)$个恶意智能体影响其长期后悔）。