基于群体的随机下降优化

我们将对用于非凸优化的基于群体的梯度下降方法 [Lu, Tadmor & Zenginoglu, arXiv:2211.17157] 的研究扩展为允许随机下降方向。我们回顾，基于群体的方法由一群智能体组成，每个智能体由一个位置 ${\mathbf x}$ 和质量 $m$ 标识。关键在于将质量从高处转移到低（最低）处。智能体的质量决定其步长：较轻的智能体采取较大的步长。在本文中，本质的新特征在于方向的选择：我们不再将群体限制为沿最陡梯度下降方向行进，而是让智能体沿围绕梯度方向但与之不同的随机选定方向前进。随机搜索保证了下降性质，同时实现了对周围空间更广泛的探索。收敛性分析与基准优化实验证明了基于群体的随机下降方法作为一种多维全局优化器的有效性。