改进的免投影在线连续子模最大化

我们研究具有单调且连续 DR-子模奖励函数的在线学习问题，该问题近来受到极大关注。为高效处理该问题，尤其在决策集复杂的情况下，先前研究提出了一种称为 Mono-Frank-Wolfe（Mono-FW）的高效免投影算法，其总共使用 $O(T)$ 次梯度评估和线性优化步骤。然而，它仅达到 $(1-1/e)$ 的 $O(T^{4/5})$ 遗憾界。在本文中，我们提出一种改进的免投影算法，即 POBGA，其将遗憾界降至 $O(T^{3/4})$，同时保持与 Mono-FW 相同的计算复杂度。我们的关键思想不是修改 Mono-FW，而是将一种称为在线提升梯度上升的基于投影算法、一种不可行投影技术以及一种阻塞技术进行新颖组合。此外，我们考虑去中心化设定并开发了 POBGA 的变体，其不仅将该设定下高效免投影算法的当前最佳遗憾界从 $O(T^{4/5})$ 降至 $O(T^{3/4})$，还将总通信复杂度从 $O(T)$ 降至 $O(\sqrt{T})$。