一种 AMP 变体在有限维下收敛到 LASSO 解的局部收敛性
信息论
2021-07-01 v2 math.IT
摘要
一种常见的稀疏线性回归形式是 l1 正则化最小二乘，也称为最小绝对收缩和选择算子（LASSO）。近似消息传递（AMP）已被证明在回归矩阵具有独立同分布（i.i.d.）高斯元素时，在渐近意义上达到 LASSO 解，即 AMP 迭代与 LASSO 解之间平均每个坐标的 l2 距离在迭代次数之前随信号维数趋于无穷而消失。然而，在有限维设置中，大迭代次数极限下 AMP 迭代的刻画尚未建立。在这项工作中，我们通过引入一个依赖于回归矩阵最大奇异值的参数，提出了一种 AMP 变体。所提出的算法也可视为具有自适应步长的原始对偶混合梯度算法。我们证明，只要该 AMP 变体收敛，对于任意有限维回归矩阵它都收敛到 LASSO 解。此外，我们证明在 LASSO 解唯一且回归矩阵来自连续分布的条件下，该 AMP 变体在 LASSO 解附近是局部稳定的。我们的局部稳定性结果意味着，在回归矩阵较大且具有 i.i.d. 随机元素的特殊情况下，作为所提 AMP 变体特例的原始 AMP 在 LASSO 解附近是局部稳定的。
引用
@article{arxiv.2007.09299,
title = {Local Convergence of an AMP Variant to the LASSO Solution in Finite Dimensions},
author = {Yanting Ma and Min Kang and Jack W. Silverstein and Dror Baron},
journal= {arXiv preprint arXiv:2007.09299},
year = {2021}
}
备注
Accepted by IEEE ISIT