逻辑回归遗憾：问题何在？

我们探讨在线逻辑回归可达到的遗憾率问题。我们推导了在参数值的 $L_1$、$L_2$ 和 $L_\infty$ 约束下具有对数遗憾的下界。这些下界由 $d/2 \log T$ 主导，其中 $T$ 为时间范围，$d$ 为参数空间的维数。我们展示了在所有这些情形下，当 $d=o(T^{1/3})$ 时，贝叶斯方法可达到这些下界(至多相差 $d/2 \log d$ 项)。对于更大维数，展示了有趣的不同行为。具体而言，在负面结果方面，若 $d = \Omega(\sqrt{T})$，在参数的 $L_\infty$ 约束(及样本特征)下，任何算法都保证具有 $\Omega(d \log T)$(大于 $\Omega(\sqrt{T})$)的遗憾。在正面结果方面，在参数的 $L_1$ 约束下，存在算法能在 $d$ 的渐近更大取值时实现关于 $d$ 亚线性的遗憾。对于 $L_2$ 约束，表明当 $d$ 足够大时，遗憾在 $d$ 上保持线性但不再在 $T$ 上对数。我们改编信息论中的冗余-容量定理，展示了一种基于参数网格推导下界的原则性方法。网格也被用于推导某些上界。我们的结果强化了 Kakade 与 Ng (2005) 及 Foster 等人 (2018) 关于该问题上界的结果，引入了新颖下界，并改编了一种可用于获取其他相关问题此类界的方法论。它们还对当参数空间维数随 $T$ 增长时的渐近行为给出了新颖刻画。此外，它们建立了与信息论文献的联系，表明逻辑回归的实际遗憾取决于参数类的丰富度，即便在该问题内部，更丰富的类也会导致更大的遗憾。