展开式 ISTA 的理论线性收敛及其实际权重与阈值
机器学习
2018-11-06 v2 机器学习
摘要
近年来,将迭代算法展开为神经网络在解决稀疏恢复问题中已成为经验上的成功。然而,其理论理解仍不成熟,这阻碍了我们充分利用神经网络的能力。在本工作中,我们研究用于稀疏信号恢复的展开式 ISTA(迭代收缩阈值算法)。我们引入一种对渐近收敛到真实稀疏信号所必需的权重结构。借助该结构,展开式 ISTA 可达到线性收敛,优于一般情况下 ISTA/FISTA 的次线性收敛。此外,我们提出在网络中引入阈值处理以进行支撑集选择,这易于实现并能在理论和经验上提升收敛速率。大量仿真,包括稀疏向量恢复和基于真实图像数据的压缩感知实验,证实了我们的理论结果并展示了其实用价值。我们已公开代码:https://github.com/xchen-tamu/linear-lista-cpss。
引用
@article{arxiv.1808.10038,
title = {Theoretical Linear Convergence of Unfolded ISTA and its Practical Weights and Thresholds},
author = {Xiaohan Chen and Jialin Liu and Zhangyang Wang and Wotao Yin},
journal= {arXiv preprint arXiv:1808.10038},
year = {2018}
}
备注
18 pages, 6 figures, 1 table. Accepted as spotlight oral in NIPS 2018