具有任意延迟的无投影在线学习
机器学习
2023-05-23 v2
摘要
无投影在线学习通过线性优化（LO）等较廉价的计算避免投影操作，因其在处理带复杂约束的高维问题时的高效性而近期受到广泛关注。然而，以往研究假设任何查询的梯度都会立即揭示，这在实际中未必成立并限制了其应用。为克服该局限，我们将在线 Frank-Wolfe（OFW）算法与在线平滑无投影（OSPF）算法——它们分别是针对非平滑与平滑函数的基于 LO 的最先进无投影在线算法——推广到查询梯度可被任意轮次延迟的延迟设定中。具体而言，我们推广的 OFW 的核心思想是在接收到任意延迟梯度后执行类似于原始 OFW 的更新，并对每一轮输出最新决策。此外，OSPF 的本质改变是将原本每次更新中使用的查询梯度之和替换为可用梯度之和。尽管方法简单，我们的新颖分析表明，在相对较大的延迟量下，推广的 OFW 与 OSPF 分别享有与非延迟设定中 OFW 与 OSPF 相同的后悔界。
引用
@article{arxiv.2204.04964,
title = {Projection-free Online Learning with Arbitrary Delays},
author = {Yuanyu Wan and Yibo Wang and Chang Yao and Wei-Wei Tu and Lijun Zhang},
journal= {arXiv preprint arXiv:2204.04964},
year = {2023}
}