通过微分包含实现稀疏恢复
统计理论
2016-01-22 v5 机器学习
统计理论
摘要
在本文中,我们通过求解非线性微分包含从噪声线性测量中恢复稀疏信号,该方法基于应用数学中发展的逆尺度空间(inverse scale space, ISS)概念。我们的目标是将这一思想应用于解决统计学中的一个挑战性难题,即利用动力学寻找无偏且符号一致的 Oracle 估计量。我们将我们的动力学称为\emph{Bregman ISS}和\emph{线性化 Bregman ISS}。LASSO 及任何凸正则化方法的一个众所周知的缺点在于估计量的偏差。然而,我们表明在适当条件下,此类动力学的解路径上存在一个无偏且符号一致的点,该点对应于真实信号的无偏估计,且其条目符号与真实符号相同,即 Oracle 估计量。因此,它们的解路径是优于 LASSO 正则化路径的正则化路径,因为后者在达到符号一致性时其点是有偏的。我们还展示了如何在连续和离散设置下高效计算它们的解路径:完整解路径可以分段精确计算,而离散化导出了\emph{线性化 Bregman 迭代},这是一种简单的迭代阈值规则且易于并行化。针对路径上的特定点,我们在连续和离散设置下建立了理论保证,如符号一致性和极小极大最优 -误差界。给出了识别这些点的早停规则。关键处理依赖于为微分包含及其离散化开发微分不等式,这扩展了先前的结果,并导致在选择错误信号之前以指数速度恢复稀疏信号。
引用
@article{arxiv.1406.7728,
title = {Sparse Recovery via Differential Inclusions},
author = {Stanley Osher and Feng Ruan and Jiechao Xiong and Yuan Yao and Wotao Yin},
journal= {arXiv preprint arXiv:1406.7728},
year = {2016}
}
备注
In Applied and Computational Harmonic Analysis, 2016