面向加速收敛与普适性的乐观在线到批量转换

在本工作中，我们研究平滑目标函数的离线凸优化问题，其中经典的Nestér加速梯度法(Nesterov's Accelerated Gradient, NAG)方法实现了最优的加速收敛。大量研究致力于从不同视角理解NAG，近期一线研究从在线学习和在线到批量转换的视角出发，强调乐观在线算法对加速的作用。在本工作中，我们从这一视角出发，提出新的乐观在线到批量转换方法，通过理论性地纳入乐观性，显著简化在线算法的设计，同时保持最优收敛率。具体而言，我们通过以下结果证明了我们方法的有效性：(i)当与简单在线梯度下降法结合时，我们的乐观转换方法实现最优的加速收敛；(ii)我们的转换方法同样适用于强凸目标，利用乐观在线到批量转换和乐观在线算法，首次通过在线到批量转换视角实现强凸光滑目标的最优加速收敛率；(iii)我们的乐观转换方法可实现对光滑性的普适性——适用于光滑与非光滑目标，无需知道光滑系数，且仅需在每一次迭代中进行一次梯度查询，仍保持与非普适方法的高效。最后，我们通过与NAG的精确对应关系，突出了我们乐观在线到批量转换方法的有效性。