一种一阶基于共识的全局优化算法的收敛性
最优化与控制
2019-10-21 v1 动力系统
摘要
非凸目标函数的全局优化经常出现在大规模机器学习和人工智能应用中。近年来，基于共识的优化（简称 CBO）方法作为一种无梯度优化方法被提出。在本文中，我们对文献 \cite{C-J-L-Z} 中的一阶 CBO 方法给出了收敛性分析。在当前工作之前，CBO 方法的收敛性研究是在相应的平均场极限（一个 Fokker-Planck 方程）上进行的，这并不蕴含 CBO 方法本身的收敛性。基于直接在一阶 CBO 模型上的共识估计，我们给出了文献 \cite{C-J-L-Z} 中一阶 CBO 方法的收敛性分析，而无需借助相应的平均场模型。我们的收敛性分析由两步组成。第一步，我们证明对于任意初始数据，CBO 模型渐近地展现出全局共识时间；第二步，我们给出系统参数（与维度无关）和初始数据的一个充分条件，保证收敛的共识状态几乎必然位于全局极小值的一个小邻域内。
引用
@article{arxiv.1910.08239,
title = {Convergence of a first-order consensus-based global optimization algorithm},
author = {Seung-Yeal Ha and Shi Jin and Doheon Kim},
journal= {arXiv preprint arXiv:1910.08239},
year = {2019}
}
备注
24 pages, 6 figures