混合 ISTA：使用自由形式深度神经网络展开 ISTA 并提供收敛保证
计算机视觉与模式识别
2022-05-06 v2 机器学习
图像与视频处理
摘要
通过将迭代算法（例如迭代收缩阈值算法（ISTA））展开为具有可学习参数的深度神经网络（DNN）来解决线性逆问题是有前景的。然而，现有的基于 ISTA 的展开算法为了保證收敛，将迭代更新的网络架构限制为部分权重耦合结构。本文中，我们提出混合 ISTA，通过结合自由形式 DNN（即具有任意可行且合理网络架构的 DNN）来展开带有预计算参数和学习参数的 ISTA，同时确保理论收敛。我们首先开发 HCISTA，以在不损害理论收敛速率的前提下提升经典 ISTA（带预计算参数）的效率和灵活性。此外，基于 DNN 的混合算法被推广到流行的学习型 ISTA 变体，称为 HLISTA，以实现具有线性收敛保证的自由形式学习参数架构。据我们所知，本文首个提供了在基于 ISTA 的展开算法中启用自由形式 DNN 的收敛可证明框架。该框架可普遍用于赋予任意 DNN 解决线性逆问题的收敛保证。大量实验表明，混合 ISTA 在稀疏恢复和压缩感知任务中能以改进的收敛速率降低重建误差。
引用
@article{arxiv.2204.11640,
title = {Hybrid ISTA: Unfolding ISTA With Convergence Guarantees Using Free-Form Deep Neural Networks},
author = {Ziyang Zheng and Wenrui Dai and Duoduo Xue and Chenglin Li and Junni Zou and Hongkai Xiong},
journal= {arXiv preprint arXiv:2204.11640},
year = {2022}
}
备注
109 pages, 16 figures; this is a draft and the final version has been accepted by TPAMI (DOI: 10.1109/TPAMI.2022.3172214)