理解现代优化技术：Frank-Wolfe、Nesterov 动量与 Polyak 动量

在本学位论文研究的第一部分，我们开发了一个模块化框架，可作为构造和分析凸优化迭代算法的范式。具体而言，我们的工作将优化建模为迭代进行的两人零和博弈。许多现有优化算法（包括 Frank-Wolfe 和 Nesterov 加速方法）都可通过让两个具有适当策略的在线学习器相互对抗而从该博弈中恢复。此外，博弈中玩家加权平均遗憾之和意味着收敛速率。因此，我们的方法为这些算法提供了简单的替代证明。进而，我们展示了将优化视为迭代博弈的方法可为某些约束集带来三种新的类 Frank-Wolfe 快速算法，这进一步表明我们的框架确实是通用、模块化且易用的。在第二部分，我们针对某些问题（包括求解经典强二次凸问题、在神经正切核机制下训练宽 ReLU 网络，以及使用正交初始化训练深度线性网络）开发了通过 Polyak 动量实现可证明加速的模块化分析。我们提出了一个元定理，并表明当对这些问题描述应用 Polyak 动量时，所诱导的动力学呈现出一种可直接应用该元定理的形式。在论文最后一部分，我们展示了使用 Polyak 动量的另一优势——它有助于在光滑非凸优化中快速逃离鞍点。该结果与第二部分的结果一起，为现代非凸优化与深度学习中的 Polyak 动量提供了新的见解。