基于 Fenchel--Young 损失的在线结构化预测与基于 Logistic 损失的在线多类分类的改进替代遗憾

本文研究具有全信息反馈的在线结构化预测。对于在线多类分类，Van der Hoeven (2020) 通过引入一个优雅的“利用替代间隙”框架，建立了独立于时间范围的有限替代遗憾界。然而，该框架主要局限于多类分类，因为它依赖于一个特定于分类的过程将估计分数转换为输出。我们将“利用替代间隙”框架扩展到具有 Fenchel--Young 损失的在线结构化预测，这是一大类替代损失，包括多类分类的 logistic 损失作为特例，在各种结构化预测问题中获得了有限的替代遗憾界。为此，我们提出并分析了随机解码，将估计分数转换为一般结构化输出。此外，通过将我们的解码应用于具有 logistic 损失的在线多类分类，我们获得了 $O(\| \mathbf{U} \|_\mathrm{F}^2)$ 的替代遗憾界，其中 $\mathbf{U}$ 是最佳离线线性估计器，$\| \cdot \|_\mathrm{F}$ 表示 Frobenius 范数。该界在对数因子范围内是紧的，并且将 Van der Hoeven (2020) 先前 $O(d\| \mathbf{U} \|_\mathrm{F}^2)$ 的界改进了 $d$（类别数）倍。