带预测的惰性拉格朗日方法用于在线学习
机器学习
2022-01-11 v1 网络与互联网体系结构
机器学习
摘要
我们考虑在存在对下一时刻代价与约束函数的预测情况下,带时变加性约束的在线凸优化一般问题。通过结合 Follow-The-Regularized-Leader 迭代与预测自适应动态步长,设计了一种新的原始对偶算法。该算法达到 后悔界与 约束违反界,可通过参数 调节,且其常数因子随预测质量提升而缩小,并在完美预测时最终达到 后悔。我们的工作扩展了该约束 OCO 设定下的 FTRL 框架,并在不对预测质量、代价函数或约束几何结构(除凸性外)施加条件的情况下,优于相应的基于贪心的最优解。
引用
@article{arxiv.2201.02890,
title = {Lazy Lagrangians with Predictions for Online Learning},
author = {Daron Anderson and George Iosifidis and Douglas J. Leith},
journal= {arXiv preprint arXiv:2201.02890},
year = {2022}
}