中文

带预测的惰性拉格朗日方法用于在线学习

机器学习 2022-01-11 v1 网络与互联网体系结构 机器学习

摘要

我们考虑在存在对下一时刻代价与约束函数的预测情况下,带时变加性约束的在线凸优化一般问题。通过结合 Follow-The-Regularized-Leader 迭代与预测自适应动态步长,设计了一种新的原始对偶算法。该算法达到 O(T3β4)\mathcal O(T^{\frac{3-\beta}{4}}) 后悔界与 O(T1+β2)\mathcal O(T^{\frac{1+\beta}{2}}) 约束违反界,可通过参数 β ⁣ ⁣[1/2,1)\beta\!\in\![1/2,1) 调节,且其常数因子随预测质量提升而缩小,并在完美预测时最终达到 O(1)\mathcal O(1) 后悔。我们的工作扩展了该约束 OCO 设定下的 FTRL 框架,并在不对预测质量、代价函数或约束几何结构(除凸性外)施加条件的情况下,优于相应的基于贪心的最优解。

关键词

引用

@article{arxiv.2201.02890,
  title  = {Lazy Lagrangians with Predictions for Online Learning},
  author = {Daron Anderson and George Iosifidis and Douglas J. Leith},
  journal= {arXiv preprint arXiv:2201.02890},
  year   = {2022}
}