分层稀疏建模:两种组套索公式的选择
统计方法学
2017-12-04 v4 统计理论
统计计算
机器学习
统计理论
摘要
在估计模型中要求稀疏性已成为统计学中的常规做法。在许多情况下,我们希望所达到的稀疏模式遵从某些特定问题的约束。分层稀疏建模(HSM)指的是这些约束规定当一组参数设为零时另一组参数也必须设为零的情形。近年来,大量论文针对这种出现在统计学许多领域(包括交互建模、时间序列分析和协方差估计)的稀疏结构开发了凸正则化器。本文中,我们观察到这些方法可归为两个框架:组套索(GL)和潜在重叠组套索(LOG),它们在HSM背景下尚未被系统比较。本文旨在从统计性质和计算效率方面对这两种用于HSM的框架进行并列比较。我们特别指出GL对层次深处参数更具侵略性的收缩,这一性质为LOG所无。在计算方面,我们引入了一种有限步算法,可精确求解特定简单HSM结构下LOG的近端算子;随后我们利用此开发了用于一般HSM结构的基于路径的块坐标下降新方案。两种算法均大幅提升了LOG的计算性能。最后,我们在协方差估计背景下比较了两种方法,其中我们引入了一种使用LOG的新的稀疏带状估计量,其达到了现有基于GL方法的统计优势,但表达更简单且计算更高效。
引用
@article{arxiv.1512.01631,
title = {Hierarchical Sparse Modeling: A Choice of Two Group Lasso Formulations},
author = {Xiaohan Yan and Jacob Bien},
journal= {arXiv preprint arXiv:1512.01631},
year = {2017}
}
备注
30 pages, 13 figures