求解非光滑非凸优化问题的随机 Bregman 次梯度方法

本文聚焦于最小化局部 Lipschitz 连续函数的问题。受 Bregman 梯度方法在训练非光滑深度神经网络中的有效性，以及非光滑非凸优化问题随机次梯度方法最新进展 \cite{bolte2021conservative,bolte2022subgradient,xiao2023adam} 的启发，我们研究了在此背景下随机 Bregman 次梯度方法的长期行为，特别是当目标函数缺乏 Clarke 正则性时。我们首先探索了 Bregman 型方法的一般框架，通过微分包含方法建立了其收敛性。针对实际应用，我们开发了一种允许子问题非精确求解的随机 Bregman 次梯度方法。此外，我们展示了如何通过对动量更新进行轻微修改，将单时间尺度动量整合到 Bregman 次梯度方法中。另外，我们引入了一种 Bregman 近端次梯度方法，用于求解可能带有约束的复合优化问题，其收敛性可基于一般框架得到保证。通过训练非光滑神经网络的数值实验，验证了所提方法的有效性。