非平稳在线结构化预测与代理损失

在线结构化预测（包括在线分类为特殊情况）是逐序预测来自输入特征的标签的任务。在此设置下，代理损失——即由最优固定估计器所造成的实际目标损失（例如0-1损失）与代理损失（例如逻辑损失）之间的累计差额——因其可获得与时间范围$T$独立的有限界而受到关注。然而，在非平稳环境中，这类保证会失效，因为每个固定估计器都可能因累计代理损失而随着$T$线性增长。为解决这一限制，我们获得了$F_T + O(1 + P_T)$的累计目标损失上界，其中$F_T$是任意比较序列的累计代理损失，$P_T$是其路径长度。该界仅通过$F_T$和$P_T$依赖于$T$，因此在非平稳性下提供更强的保证。我们的核心思想是将在线梯度下降（OGD）的动态谦逊分析与提取代理间隙技术相结合。这一视角阐明了Polyak式学习率对OGD的有用性，该方法系统性地产生目标损失界限并在实验中表现良好。我们然后通过卷积Fenchel-Young损失将该方法扩展到更广泛的设置。最后，下界表明$F_T$和$P_T$的依赖性是紧密的。