两阶段足矣：一种用于灵活视频压缩感知的简洁深度展开重建网络
图像与视频处理
2022-01-24 v2 计算机视觉与模式识别
摘要
我们考虑在深度展开/滚动结构下的视频压缩感知（VCS）重建问题。然而，我们旨在以最少的阶段构建灵活而简洁的模型。不同于现有的用于逆问题的深度展开网络——其使用更多阶段以获取更高性能但缺乏对不同时掩码与尺度的灵活性——本文表明一个 2 阶段深度展开网络可在 VCS 中取得最先进（SOTA）结果（相较单阶段模型 RevSCI 在 PSNR 上有 1.7dB 增益）。得益于深度展开的优势，所提方法具备适应新掩码以及无需任何额外训练即可扩展至大规模数据的特性。此外，我们将所提模型扩展至彩色 VCS 以执行联合重建与去马赛克。实验结果表明，我们的 2 阶段模型在彩色 VCS 重建上也达到了 SOTA，相较先前基于即插即用框架的 SOTA 算法在 PSNR 上获得 >2.3dB 增益，同时将重建速度提升 >17 倍。另外，我们发现我们的网络对彩色 VCS 重建的掩码调制与尺度大小亦具灵活性，从而单一训练网络可应用于不同硬件系统。代码与模型将公开发布。
引用
@article{arxiv.2201.05810,
title = {Two-Stage is Enough: A Concise Deep Unfolding Reconstruction Network for Flexible Video Compressive Sensing},
author = {Siming Zheng and Xiaoyu Yang and Xin Yuan},
journal= {arXiv preprint arXiv:2201.05810},
year = {2022}
}