任务特定 ADMM 的定制策略与收敛行为研究

乘子交替方向法（ADMM）已成为带线性约束的可分离优化问题的流行算法框架。由于数值 ADMM 未能利用当前问题的特定结构及输入数据信息，利用任务特定模块（如神经网络及其他数据驱动架构）来扩展 ADMM 是一项重要但具挑战性的任务。本工作聚焦于设计一种灵活的算法框架，以融入各种任务特定模块（无额外约束）来提升 ADMM 在实际应用中的性能。具体而言，我们提出最优性引导（GO），一种新定制策略，将任务特定模块嵌入 ADMM（GO-ADMM）。通过引入基于最优性的准则来引导传播，GO-ADMM 建立了对附加模块选择不敏感的更新方案。现有任务特定方法只是将其模块直接插入数值迭代中。即便对插入模块施加某些限制性约束，它们也只能获得所得 ADMM 迭代较弱的收敛性质。幸运的是，在不对嵌入模块施加任何限制的情况下，我们证明了 GO-ADMM 在目标值与约束违背方面的收敛性，并推导了以迭代复杂度度量的最坏情况收敛速率。我们进行了大量实验以验证理论结果并展示 GO-ADMM 的效率。