中文

随机乐观镜像下降(OMD)求解鞍点问题的收敛模式

最优化与控制 2019-08-06 v1 机器学习 机器学习

摘要

在本文中,我们研究了满足 Mertikopoulos 等人所提相干性概念的鞍点问题的镜像下降(MD)与乐观镜像下降(OMD)的收敛性。我们证明了 OMD 在精确梯度下对相干鞍点问题的收敛性,并表明单调收敛仅在足够多的迭代次数之后才发生。这与 Mertikopoulos 等人关于 OMD 在精确梯度下对相干鞍点问题单调收敛的断言相反。除了强调这一重要细微差别外,我们注意到 Mertikopoulos 等人所声称的 MD 和 OMD 在随机梯度下对严格相干鞍点问题的几乎必然收敛保证并未被其证明完全证实。因此,我们补全了证明中缺失的细节,结果仅能证明高概率收敛。我们想指出,我们的分析严重依赖于 Zhou 等人和 Mertikopoulos 等人提出的核心思想和证明技术,我们仅旨在根据我们能够严格证明的内容并重填其证明中极需补足的缺失细节,重新陈述并修正其结果。

关键词

引用

@article{arxiv.1908.01071,
  title  = {On the modes of convergence of Stochastic Optimistic Mirror Descent (OMD) for saddle point problems},
  author = {Yanting Ma and Shuchin Aeron and Hassan Mansour},
  journal= {arXiv preprint arXiv:1908.01071},
  year   = {2019}
}

备注

14 pages