面向非凸优化的副本交换方法

已知梯度下降（GD）对凸目标函数收敛迅速，但可能陷入局部极小。另一方面，朗之万动力学（LD）可探索状态空间并找到全局极小，但为给出准确估计，LD 需以较小离散步长与弱随机力运行，这通常使其收敛变慢。本文表明，这两种算法及其非交换变体可通过简单的交换机制“协作”：若 LD 得到更低的目标函数值，则交换二者当前位置。该思想可视为采样文献中副本交换技术的奇异极限。我们证明，在全局唯一极小邻域内目标函数强凸的假设下，这一新算法以高概率线性收敛至全局极小。通过将梯度替换为随机梯度，并为交换机制加入适当阈值，我们的算法亦可用于在线场景。我们还研究了算法的非交换变体，其取得相似性能。我们通过数值实验进一步验证了理论结果，并观察到所提算法优于单独运行 GD 或 LD 的表现。