计算群零范数正则化最小二乘估计的GEP-MSCRA方法
统计理论
2018-04-27 v1 统计理论
摘要
本文关注群零范数正则化最小二乘估计，依据零范数的变分刻画，它可从一个均衡约束数学规划（MPEC）获得。通过发展该MPEC的全局精确罚，表明此估计源于一个精确罚问题，其不仅具有有利的双线性结构，还隐含给出等价DC估计（如SCAD与MCP估计）的构造方法。我们提出一种多阶段凸松弛方法（GEP-MSCRA）来计算该估计，并在设计矩阵满足限制强凸性假设下，建立其理论保证，包括迭代误差界对真系数向量的递减性，以及迭代在有限步后与预言估计相吻合。最后，我们用半光滑Newton增广拉格朗日法（ALM）求解子问题来实现GEP-MSCRA，并在合成群稀疏回归问题与真实多任务学习问题上，将其与加权-范数正则化估计的求解器SLEP和MALSAR进行性能比较。数值比较表明，GEP-MSCRA在降低误差和获得更好稀疏性方面较SLEP与MALSAR具有显著优势。
引用
@article{arxiv.1804.09887,
title = {GEP-MSCRA for computing the group zero-norm regularized least squares estimator},
author = {Shujun Bi and Shaohua Pan},
journal= {arXiv preprint arXiv:1804.09887},
year = {2018}
}