驯服具有广义 Bregman 散度的非凸随机镜像下降法

本文重新审视了当代非凸优化设置中随机镜像下降法 (SMD) 的收敛性。现有的无批次非凸 SMD 结果将距离生成函数 (DGF) 的选择限制为具有 Lipschitz 连续梯度的可微函数，从而排除了如 Shannon 熵等重要设置。在这项工作中，我们提出了支持广义 DGF 的非凸 SMD 的新收敛性分析，克服了上述限制，且仅依赖于标准假设。此外，我们的收敛性是相对于 Bregman 前向 - 后向包络建立的，这是一种比常用的梯度映射平方范数更强的度量。我们进一步扩展了结果，以保证在次高斯噪声下的高概率收敛性，以及在广义 Bregman 邻近 Polyak-Łojasiewicz 条件下的全局收敛性。此外，我们通过利用非光滑 DGF，在各种非凸机器学习任务中展示了我们改进的 SMD 理论的优势。值得注意的是，在非凸差分隐私 (DP) 学习的背景下，我们的理论产生了一种简单的算法，并具有（近乎）维度无关的效用界。针对训练线性神经网络的问题，我们开发了可证明收敛的随机算法。