非凸非 Lipschitz 优化中 Bregman ADMM 的二阶 KKT 保证
最优化与控制
2026-06-26 v1 机器学习
摘要
我们在双边相对光滑性条件下分析用于非凸线性约束问题的 Bregman ADMM,该条件用相对于 Bregman 核的 Hessian 比较代替了标准 Lipschitz 梯度假设。这一设定涵盖了矩阵与张量模型中出现的多项式目标,对此全局 Lipschitz 梯度常数未必存在。我们证明,在不变量开状态空间域上,Bregman ADMM 的一次迭代定义了一个光滑的原始—对偶不动点映射,其严格鞍点 KKT 点是不稳定不动点;因此,从随机初始化出发,迭代以零概率收敛到严格鞍点。结合现有的一阶收敛结果,这给出了极限 KKT 点的几乎必然二阶平稳性。我们将分析推广到用于分布式优化的多块星形共识形式。技术新颖性在于两分块谱论证中带 Bregman 特定对称化与缩放步骤的行列式降阶,以及共识情形下利用星形图结构的零空间相消。分布式矩阵分解的数值实验阐明了该理论,而一个对称张量分解示例展示了超出可分离共识设定的更广泛的 Bregman 邻近分裂思想。
引用
@article{arxiv.2606.28307,
title = {Second-Order KKT Guarantees for Bregman ADMM in Nonconvex and Non-Lipschitz Optimization},
author = {Shuang Li and Zhihui Zhu and Qiuwei Li},
journal= {arXiv preprint arXiv:2606.28307},
year = {2026}
}