面向弯曲损失的尺度无关无约束在线学习

无约束在线凸优化的一系列工作研究了同时适应比较器范数 $U$ 与梯度最大范数 $G$ 的可能性。在完全一般性下，已知匹配的上界和下界表明，这会带来不可避免的附加代价 $G U^3$，而当 $G$ 或 $U$ 之一事先已知时则不需要该代价。令人惊讶的是，Kempka等人（2019）近期的结果表明，在如铰链损失这样的 $1$-Lipschitz损失的特定情况下，不需要这种适应性代价。我们跟进该观察，表明事实上如果我们专用于任何其他常见监督在线学习损失，适应性永远无需付出代价：我们的结果涵盖对数损失、（线性和非参数）逻辑回归、平方损失预测以及（线性和非参数）最小二乘回归。我们还通过提供具有对 $U$ 显式依赖的匹配下界，填补了文献中的若干空白。在所有情况下，我们都获得了尺度无关算法，它们对数据的重新缩放具有适当的不变性。我们的总体目标是在不考虑计算效率的情况下确立可达成速率，但对于线性逻辑回归，我们也提供了一种与Agarwal等人（2021）近期非自适应算法同样高效的自适应方法。