全隐式在线学习

正则化在线学习广泛应用于机器学习应用中。在在线学习中，执行精确最小化（$i.e.,$ 隐式更新）已知对数值稳定性和解的结构是有益的。在本文中，我们研究了一类不对损失函数或正则化器进行线性化的正则化在线算法，我们称之为\emph{全隐式在线学习}（FIOL）。我们证明，对于任意Bregman散度，FIOL在一般凸设置下具有 $O(\sqrt{T})$ 的遗憾界，在强凸设置下具有 $O(\log T)$ 的遗憾界，并且由于避免了线性化的近似误差，该遗憾界具有单步改善效应。随后，我们提出了求解FIOL子问题的高效算法。我们证明，即使子问题的解没有闭式形式，其求解复杂度也可与线性化在线算法相当。实验验证了所提出的方法。