面向非凸稀疏正则化的近似消息传递及其稳定性与渐近分析
机器学习
2018-04-04 v3 机器学习
摘要
我们分析了在过完备高斯基下、针对高斯随机数据的、带有称为平滑截断绝对偏差(SCAD)的非凸正则化线性回归问题。我们提出一种考虑非凸正则化的近似消息传递(AMP)算法,即 SCAD-AMP,并从解析上证明稳定性条件对应于自旋玻璃文献中的 de Almeida–Thouless 条件。通过渐近分析,我们展示了 SCAD-AMP 的密度演化与副本对称解之间的对应。数值实验证实,对于足够大的系统规模,SCAD-AMP 达到了副本方法预测的最优性能。通过副本分析,在 SCAD 参数空间中发现了副本对称(RS)与副本对称破缺(RSB)区域间的相变。非凸惩罚出现 RS 区域是一项显著优势,表明该优化问题具有平滑景观的区域。此外,我们从解析上证明 SCAD 惩罚的统计表示性能优于基于 L1 的方法,且在 RS 假设下的最小表示误差取得于 RS/RSB 相的边界。我们也指出了已有坐标下降算法的收敛与 RS/RSB 转变之间的对应。
引用
@article{arxiv.1711.02795,
title = {Approximate message passing for nonconvex sparse regularization with stability and asymptotic analysis},
author = {Ayaka Sakata and Yingying Xu},
journal= {arXiv preprint arXiv:1711.02795},
year = {2018}
}