MirrorCBO:一种类似镜像梯度的共识基于优化方法
最优化与控制
2025-07-17 v2 机器学习
摘要
本文提出了 MirrorCBO,这是一种共识基于优化(CBO)方法,其将标准 CBO 推广方式与镜像梯度与梯度下降的关系相同。为此,我们将 CBO 方法应用于一群双粒子,同时通过应用镜像映射的逆函数来保留原始粒子位置。我们将其参数化为强凸函数 的次梯度。如此,我们将了无导数非凸优化算法的优势与镜像梯度的优势相结合。作为一种特殊情况,该方法将 CBO 扩展到具有凸约束的优化问题。假设对与 相关的 Bregman 距离具有界限,我们提供了 MirrorCBO 的渐近收敛结果,并给出明确的指数收敛率。另一个关键贡献是对该新算法进行的探索性数值研究,涵盖不同应用场景,重点关注 (i) 稀疏引导优化,和 (ii) 约束优化,展示了 MirrorCBO 的竞争性能。我们观察到该方法也可以用于优化(非凸)欧几里得空间的子流形,能够适应其他近期 CBO 变体的镜像版本,并且继承了镜像梯度能够选择理想最小值的能力,如稀疏解。我们还包括了最新 CBO 方法的概览,以进行约束优化,并将其性能与 MirrorCBO 进行比较。
引用
@article{arxiv.2501.12189,
title = {MirrorCBO: A consensus-based optimization method in the spirit of mirror descent},
author = {Leon Bungert and Franca Hoffmann and Dohyeon Kim and Tim Roith},
journal= {arXiv preprint arXiv:2501.12189},
year = {2025}
}
备注
66 pages, 18 figures, 19 tables