用于视频快照压缩成像的深度平衡模型
图像与视频处理
2023-03-01 v4 计算机视觉与模式识别
摘要
快照压缩成像(SCI)系统高效捕获高维(HD)数据的能力带来了一个逆问题，即从压缩且含噪的观测中恢复HD信号。尽管随着深度学习的近期进展，重建算法快速增长以解决该问题，但准确且稳定恢复的基本问题仍然存在。为此，我们提出用于视频SCI的深度平衡模型(DEQ)，以理论可靠的方式融合数据驱动正则化与稳定收敛。每个平衡模型隐式地学习一个非扩张算子并解析计算不动点，从而在训练和测试中仅需恒定内存需求即可实现无限迭代步数和无限网络深度。具体而言，我们展示了DEQ如何应用于视频SCI重建的两个现有模型：循环神经网络(RNN)和即插即用(Plug-and-Play, PnP)算法。在多种数据集和真实数据上，我们结果的定量和定性评估均证明了所提方法的有效性和稳定性。代码和模型可在 https://github.com/IndigoPurple/DEQSCI 获取。
引用
@article{arxiv.2201.06931,
title = {Deep Equilibrium Models for Video Snapshot Compressive Imaging},
author = {Yaping Zhao and Siming Zheng and Xin Yuan},
journal= {arXiv preprint arXiv:2201.06931},
year = {2023}
}
备注
9 pages, 7 figures