面向带正则化器兼容约束的稀疏诱导优化问题的双重优界算法
最优化与控制
2023-03-09 v2
摘要
我们考虑一类约束集为正则化器兼容的稀疏诱导优化问题，即该约束集在由稀疏诱导正则化器诱导的坐标变换后变得易于投影。我们的模型足够一般，可将有序 LASSO 模型及其带有一些常用非凸稀疏诱导正则化器的变体作为特例涵盖。稀疏诱导正则化器与约束集的同时存在给高效算法设计带来了挑战。本文通过利用稀疏诱导正则化器中的绝对值对称性及其他性质，提出了一类针对此类问题的新算法，称为双重优界算法（DMA）。DMA 在每次迭代中使用坐标变换后对约束集的投影，因此可高效执行。在不借助任何常用约束品性条件（如基于水平次微分的条件）的情况下，我们证明了 DMA 生成的序列的任一聚点都是所谓的 -平稳点，这是我们受 -平稳性概念启发所定义的一种新平稳性概念。我们还证明了在不施加任何约束品性条件的情况下，我们模型的任一全局极小点都必须是 -平稳点。最后，我们在数值上说明了 DMA 在求解带非凸正则化器的有序 LASSO 变体上的性能。
引用
@article{arxiv.2207.00396,
title = {Doubly majorized algorithm for sparsity-inducing optimization problems with regularizer-compatible constraints},
author = {Tianxiang Liu and Ting Kei Pong and Akiko Takeda},
journal= {arXiv preprint arXiv:2207.00396},
year = {2023}
}