基于群体的梯度下降法用于非凸优化
数值分析
2024-05-01 v2 数值分析
最优化与控制
摘要
我们引入一种新的基于群体的梯度下降（SBGD）方法用于非凸优化。该群体由智能体组成，每个智能体由位置 与质量 标识。其动力学的关键在于通信：质量从高地势处智能体转移至低（最低）地势处智能体。同时，智能体以步长 改变位置，步长依其相对质量调整：较重智能体沿局部梯度方向以小时步前进，而较轻智能体基于回溯协议取较大时步。相应地，智能体群动态划分为“较重”的领导者（有望逼近局部极小）与“较轻”的探索者。凭借大步长协议，探索者有望为群体遭遇更优位置；若如此，则它们承担“重”群体领导者角色，依此类推。在一维、二维与 20 维基准上的收敛分析与数值模拟展示了 SBGD 作为全局优化器的有效性。
引用
@article{arxiv.2211.17157,
title = {Swarm-Based Gradient Descent Method for Non-Convex Optimization},
author = {Jingcheng Lu and Eitan Tadmor and Anil Zenginoglu},
journal= {arXiv preprint arXiv:2211.17157},
year = {2024}
}