具有平滑软阈值的展开式 ISTA 与 ADMM 网络的优化保证
机器学习
2023-09-13 v1 信号处理
摘要
求解线性逆问题在众多应用中起着关键作用。基于算法展开、模型感知的数据驱动方法因能有效解决这些问题而受到显著关注。学习型迭代软阈值算法（LISTA）与交替方向乘子法压缩感知网络（ADMM-CSNet）是两种广泛使用的此类方法，分别基于 ISTA 与 ADMM 算法。本工作中，我们研究了有限层展开网络（如具有平滑软阈值的 LISTA 与 ADMM-CSNet）在过参数化（OP）情形下的优化保证，即随学习轮数增加实现近零训练损失。我们通过利用 Polyak-Lojasiewicz 条件的修正版本（记为 PL 条件）实现这一点。在损失景观的特定区域内满足 PL 条件，可确保全局最小值的存在性，以及从初始化起使用基于梯度下降方法的指数收敛。因此，我们给出了这些展开网络满足 PL 条件所需的网络宽度与训练样本数量方面的条件。我们通过推导这些网络的 Hessian 谱范数实现这一点。此外，我们表明训练样本数量的阈值随网络宽度增加而增加。进而，我们将展开网络的训练样本阈值与具有平滑软阈值非线性的标准全连接前馈网络（FFNN）进行比较。我们证明展开网络具有比 FFNN 更高的阈值。因此，可期望展开网络比 FFNN 具有更好的期望误差。
引用
@article{arxiv.2309.06195,
title = {Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding},
author = {Shaik Basheeruddin Shah and Pradyumna Pradhan and Wei Pu and Ramunaidu Randhi and Miguel R. D. Rodrigues and Yonina C. Eldar},
journal= {arXiv preprint arXiv:2309.06195},
year = {2023}
}