递归即所需：迈向高效的深度展开网络
计算机视觉与模式识别
2023-05-10 v1 机器学习
图像与视频处理
摘要
深度展开网络在压缩感知（CS）中的使用已取得广泛成功，因其兼具简洁性与可解释性。然而，由于大多数深度展开网络是迭代式的，这导致网络中产生显著的冗余。在本工作中，我们提出了一种新颖的基于递归的框架，以提升深度展开模型的效率。首先，递归被用于有效消除深度展开网络中的冗余。其次，我们在训练期间随机化递归次数，以减少总体训练时间。最后，为有效利用递归的能力，我们引入了一个可学习单元，基于总迭代次数与当前迭代索引来调制模型的特征。为评估所提框架，我们将其应用于 ISTA-Net+ 与 COAST。大量测试表明，我们提出的框架使网络可削减多达 75% 的可学习参数，同时基本保持其性能，并且分别将 ISTA-Net+ 与 COAST 的训练时间减少了约 21% 与 42%。此外，在训练数据集有限时，递归模型匹配甚至优于各自的非递归基线。代码与预训练模型可在 https://github.com/Rawwad-Alhejaili/Recursions-Are-All-You-Need 获取。
引用
@article{arxiv.2305.05505,
title = {Recursions Are All You Need: Towards Efficient Deep Unfolding Networks},
author = {Rawwad Alhejaili and Motaz Alfarraj and Hamzah Luqman and Ali Al-Shaikhi},
journal= {arXiv preprint arXiv:2305.05505},
year = {2023}
}
备注
Accepted to ECV 2023 CVPR workshop