中文

测度优化的核镜像近端分析

最优化与控制 2024-03-04 v1 机器学习

摘要

通过选择适当的函数空间作为非负测度锥的对偶空间,我们在统一框架下研究了一类函数鞍点优化问题,我们称之为混合函数纳什均衡(MFNE),它是几种现有机器学习算法的基础,例如隐式生成模型、分布鲁棒优化(DRO)和Wasserstein重心。当函数空间选为再生核希尔伯特空间(RKHS)时,我们将鞍点优化动力学建模为交互的Fisher-Rao-RKHS梯度流。作为离散时间对应物,我们提出了一种原始-对偶核镜像近端(KMP)算法,该算法在RKHS中使用对偶步,以及原始熵镜像近端步。然后,我们为这类MFNE问题在无限维设置下提供了KMP的统一收敛性分析,建立了确定性情况下的O(1/N)O(1/N)收敛率和随机情况下的O(1/N)O(1/\sqrt{N})收敛率,其中NN是迭代次数。作为案例研究,我们将分析应用于DRO,为DRO的鲁棒性和收敛性提供了算法保证。

关键词

引用

@article{arxiv.2403.00147,
  title  = {Analysis of Kernel Mirror Prox for Measure Optimization},
  author = {Pavel Dvurechensky and Jia-Jie Zhu},
  journal= {arXiv preprint arXiv:2403.00147},
  year   = {2024}
}

备注

Accepted to AISTATS 2024