广义 Bregman 距离框架下的梯度下降
最优化与控制
2016-12-28 v2
摘要
我们讨论一种特殊的梯度下降形式，在文献中被称为所谓的线性化 Bregman 迭代。其思想是在梯度下降设置中，用基于更一般的合适、凸且下半连续泛函的广义 Bregman 距离，来替代经典的（平方）二范数度量。梯度下降以及 Nemirovsky 和 Yudin 的熵镜像下降都是特例，Bachmayr 和 Burger 引入的特定形式的非线性 Landweber 迭代也是特例。我们将在分析线性化 Bregman 迭代时，考虑我们想要最小化的泛函既不一定 Lipschitz 连续（在经典意义上）也不一定凸的情形，并在附加假设该泛函满足所谓的 Kurdyka-Łojasiewicz 性质下，建立全局收敛结果。
引用
@article{arxiv.1612.02506,
title = {Gradient descent in a generalised Bregman distance framework},
author = {Martin Benning and Marta M. Betcke and Matthias J. Ehrhardt and Carola-Bibiane Schönlieb},
journal= {arXiv preprint arXiv:1612.02506},
year = {2016}
}
备注
Conference proceedings of '2016 Geometric Numerical Integration and its Applications Maths Conference at La Trobe University, Melbourne Australia', MI Lecture Notes series of Kyushu University, six pages, one figure, program code: https://doi.org/10.17863/CAM.6714