ISTA与FISTA的线性收敛性
最优化与控制
2023-01-18 v2 机器学习
统计理论
机器学习
统计理论
摘要
本文重新审视用于求解具有稀疏表示的线性逆问题（源于信号与图像处理）的迭代收缩阈值算法(ISTA)类。在图像去模糊的数值实验中显示，对数坐标下的收敛行为趋于线性而非对数、近似平坦。经细致观察，我们发现先前对光滑部分凸的假设弱化了最小二乘模型。具体而言，即便图像矩阵可能病态，假设光滑部分强凸对最小二乘模型更为合理。此外，我们改进了针对复合优化（光滑部分强凸而非一般凸）的关键不等式，使其更紧，这首次见于[Li et al., 2022]。基于此关键不等式，我们将线性收敛推广到复合优化在目标值与平方邻近次梯度范数两方面。同时，我们设置了一个易于计算奇异值、替代原始模糊矩阵的简单病态矩阵。新数值实验表明，针对强凸函数的Nesterov加速梯度下降(NAG)的邻近推广比ISTA具有更快的线性收敛率。基于更紧的关键不等式，我们还利用略作修改的精心构造李雅普诺夫函数与基于隐式速度格式的高分辨微分方程框架的相空间表示，将更快的线性收敛率推广到复合优化在目标值与平方邻近次梯度范数两方面。
引用
@article{arxiv.2212.06319,
title = {Linear Convergence of ISTA and FISTA},
author = {Bowen Li and Bin Shi and Ya-xiang Yuan},
journal= {arXiv preprint arXiv:2212.06319},
year = {2023}
}
备注
16 pages, 4 figures