面向非凸正则化稀疏信号估计的逐次凸近似算法
机器学习
2018-10-26 v1 分布式、并行与集群计算
信息检索
最优化与控制
机器学习
摘要
本文针对目标函数中非光滑正则化函数为非凸且可写为两个凸函数之差的稀疏优化问题，提出一种逐次凸近似框架。该框架基于majorization-minimization框架与文献中针对凸正则化函数所提逐次凸近似框架的非平凡结合。所提框架具有若干吸引人的特性：i）灵活性，因近似函数的不同选择可导出不同类型算法；ii）快速收敛，因通过适当选择近似函数可更好利用问题结构且步长由线搜索计算；iii）低复杂度，因近似函数为凸且线搜索方案在可微函数上执行；iv）保证收敛至驻点。我们通过子空间学习中的两个示例应用——网络异常检测问题与稀疏子空间聚类问题——展示这些特性。采用最佳响应型近似定制所提框架，我们得到带精确线搜索的软阈值算法，其未知参数的所有元素依据闭式表达并行更新。所提算法的优良特性通过数值实验得以说明。
引用
@article{arxiv.1806.10773,
title = {Successive Convex Approximation Algorithms for Sparse Signal Estimation with Nonconvex Regularizations},
author = {Yang Yang and Marius Pesavento and Symeon Chatzinotas and Björn Ottersten},
journal= {arXiv preprint arXiv:1806.10773},
year = {2018}
}
备注
submitted to IEEE Journal of Selected Topics in Signal Processing, special issue in Robust Subspace Learning