中文

无约束在线学习的梯度变化后悔最小

机器学习 2026-04-14 v1 机器学习

摘要

我们发展了针对无约束在线学习的参数自由算法,其后悔最小准则随梯度变化 VT(u)=t=2Tft(u)ft1(u)2V_T(u) = \sum_{t=2}^T \|\nabla f_t(u)-\nabla f_{t-1}(u)\|^2 进行尺度调整。对于 LL-smooth 凸损失,我们提供全自适应算法,实现后悔最小为 O~(uVT(u)+Lu2+G4)\widetilde{O}(\|u\|\sqrt{V_T(u)} + L\|u\|^2+G^4),无需事先了解比较器范数 u\|u\|、Lipschitz 常数 GG 或光滑性 LL。每轮更新可通过闭式表达式高效计算。我们的结果推广至动态后悔,并立即应用于随机扩展对抗(SEA)模型,这显著改进了之前最佳结果 [Wang 等,2025]。

关键词

引用

@article{arxiv.2604.11151,
  title  = {Gradient-Variation Regret Bounds for Unconstrained Online Learning},
  author = {Yuheng Zhao and Andrew Jacobsen and Nicolò Cesa-Bianchi and Peng Zhao},
  journal= {arXiv preprint arXiv:2604.11151},
  year   = {2026}
}