Agnostic 在线学习中的后悔-查询复杂度权衡

经典的 agnostic 在线学习方法通过将问题归约到可实现设置，并采用 Littlestone 标准最优算法 (SOA) 作为基学习器来实现。然而，SOA 即使仅用于单一轮次也计算上是不可行的。为克服这一障碍，最近的 oracle 高效在线学习工作则用只能通过离线经验风险最小化 (ERM) oracle 实现的可实现基学习器替代了 SOA。虽然此类 agnostic 学习器实现了接近最优的预期后悔，但其查询复杂度为 $O\big(T^{2^{O(d_\mathrm{LD})}}\big)$，其中 $d_\mathrm{LD}$ 为 Littlestone 维数，$T$ 为轮次数。在本文中，我们显著改进了该查询复杂度，同时采用更弱的原语：弱一致性 oracle，即仅决定给定标记数据集是否可实现。本文方法的核心是一种自适应和动态的 agnostic-to-realizable 归约，主动在运行时修剪不可实现的标记序列。通过使用 VC 维 ($d_\mathrm{VC}$) 限制动态维护的活动路径数量，我们的算法将总查询复杂度降低至 $O(T^{d_\mathrm{VC}+1})$，同时完美保留近似最优的预期后悔。关键的是，这种动态修剪还导致标准归约的内存降低。我们正式量化了后悔-查询复杂度权衡，提供了上界，这些上界在受限查询预算与可达预期后悔之间平滑插值。我们补充这些上界，证明任何查询次数为 $Q = o(\sqrt{T})$ 的学习器都必须承受预期后悔为 $\Omega(T/Q)$ 的下界。