中文

用于计算 $\ell_0$-最小化问题 KKT 点与局部极小值的易处理 ADMM 格式

最优化与控制 2019-12-19 v5

摘要

我们考虑一个在多面体集上最小化 f(x)+γx0f(x) + \gamma \|x\|_00\ell_0-最小化问题,其中 0\ell_0-范数正则化项隐式强调解的稀疏性。此类设定涵盖了图像处理与统计学习中的一系列问题。鉴于该范数的非凸与不连续性质,通常采用凸正则化项作为替代。因此,关于直接求解 0\ell_0-最小化问题的方法所知甚少。受文献[19]启发,我们考虑将 0\ell_0-最小化问题的等价形式转化为带互补约束的数学规划(MPCC),并在其 KKT 点的刻画与计算方面做出以下贡献: 首先,我们证明了该形式的可行点满足相对较弱的 Guignard 约束规格。此外,在对 f(x)f(x) 施加适当的凸性假设下,推导出了 MPCC 形式的一阶 KKT 点与局部极小值之间的等价关系。 其次,我们应用两种交替方向乘子法(ADMM)算法以利用 MPCC 形式的特殊结构:(ADMMcfμ,α,ρ_{\rm cf}^{\mu, \alpha, \rho}) 和 (ADMMcf_{\rm cf})。这两种 ADMM 格式均具有易处理的子问题。具体而言,尽管整体非凸,我们证明了第一个 ADMM 更新可以通过识别隐藏的凸性性质有效地化为闭式表达式,而第二个则需要求解一个凸规划。在 (ADMMcfμ,α,ρ_{\rm cf}^{\mu, \alpha, \rho}) 中,我们证明了在温和假设下存在向扰动 KKT 点的子序列收敛。我们的初步数值实验表明,易处理的 ADMM 格式比其标准对应方法具有更好的可扩展性,且 ADMMcf_{\rm cf} 在求解 0\ell_0-最小化问题时与竞争方法相比表现良好。

关键词

引用

@article{arxiv.1710.04613,
  title  = {Tractable ADMM Schemes for Computing KKT Points and Local Minimizers for $\ell_0$-Minimization Problems},
  author = {Yue Xie and Uday V. Shanbhag},
  journal= {arXiv preprint arXiv:1710.04613},
  year   = {2019}
}

备注

47 pages, 3 tables