镜像下降与镜像朗之万动力学的变分原理
最优化与控制
2023-03-17 v1 机器学习
摘要
镜像下降由Nemirovski和Yudin在1970年代提出，是一种原对偶凸优化方法，可通过选择强凸势函数来适配待解优化问题的几何结构。它作为基本原语出现在各种应用中，包括大规模优化、机器学习和控制。本文提出了镜像下降及其随机变体镜像朗之万动力学的变分表述。受Brezis和Ekeland关于梯度流变分原理经典工作的启发，核心思想是证明镜像下降作为某一最优控制问题的闭环解而出现，且贝尔曼值函数由初始条件与目标函数全局极小元之间的Bregman散度给出。
引用
@article{arxiv.2303.09532,
title = {Variational Principles for Mirror Descent and Mirror Langevin Dynamics},
author = {Belinda Tzen and Anant Raj and Maxim Raginsky and Francis Bach},
journal= {arXiv preprint arXiv:2303.09532},
year = {2023}
}
备注
6 pages