通过乐观无遗憾动态实现加速

我们考虑通过将优化问题归约为计算特定零和凸-凹博弈的纳什均衡来最小化光滑凸函数的问题。零和博弈可使用在线学习动态求解，其中经典技术涉及模拟两种相互对抗的无遗憾算法，经过 $T$ 轮后，平均迭代保证以 $O(\log T/T)$ 的误差衰减率求解原优化问题。本文中我们表明，通过扩展近期利用乐观学习来加速均衡计算的工作 \cite{RS13,SALS15}，该技术可增强至 $O(1/T^2)$ 的速率。由此分析导出的优化算法与著名的 \NA \cite{N83a} 方法完全吻合，且同样的思路使我们能通过微小调整恢复 Nesterov 算法的若干变体。我们还能够为一个既强凸又光滑的函数建立加速线性速率。该方法统一了多种不同的迭代优化方法：我们表明 \HB 算法正是 \NA 的非乐观变体，且近期已有工作对 \FW 建立了类似视角 \cite{AW17,ALLW18}。