双重乐观上升（PI控制）是增广拉格朗日方法的伪装
机器学习
2026-01-27 v2 最优化与控制
摘要
约束优化是在神经网络上强制实施要求的强大框架。这些受约束的深度学习问题通常通过在其极小极大拉格朗日形式上使用一阶方法来求解，但此类方法经常遭受振荡并且可能无法找到所有局部解。虽然增广拉格朗日方法（ALM）解决了这些问题，但从业者通常偏爱在标准拉格朗日上的双重乐观上升方案（PI控制），这些方案在经验上表现良好但缺乏形式化保证。在本文中，我们建立了这些方法之间一个先前未知的等价性：拉格朗日上的双重乐观上升等价于增广拉格朗日上的梯度下降-上升。这一发现使我们能够将ALM的稳健理论保证转移到双重乐观设定中，证明其线性收敛至所有局部解。此外，该等价性为调整乐观性超参数提供了原则性指导。我们的工作弥合了双重乐观方法的经验成功与其在约束深度学习常用的单步一阶机制中的理论基础之间的关键差距。
引用
@article{arxiv.2509.22500,
title = {Dual Optimistic Ascent (PI Control) is the Augmented Lagrangian Method in Disguise},
author = {Juan Ramirez and Simon Lacoste-Julien},
journal= {arXiv preprint arXiv:2509.22500},
year = {2026}
}
备注
Published at ICLR 2026. Code available at https://github.com/juan43ramirez/pi-control-is-alm