面向鲁棒视频压缩感知的采样先验增强深度展开网络
计算机视觉与模式识别
2023-07-17 v1 图像与视频处理
摘要
视频压缩感知(VCS)旨在从单次捕获的测量中重建多帧图像，从而以低帧率传感器实现高速场景记录。尽管近期 VCS 取得了令人瞩目的进展，但这些最先进(SOTA)方法也显著增加了模型复杂度，并且泛化性与鲁棒性较差，意味着这些网络需要重新训练以适应新系统。此类局限阻碍了模型的实时成像与实际部署。本工作中，我们提出一种采样先验增强深度展开网络(SPA-DUN)，用于高效且鲁棒的 VCS 重建。在优化启发的深度展开框架下，利用轻量高效的 U-net 缩减模型规模同时提升整体性能。此外，利用来自采样模型的先验知识动态调制网络特征，使单一 SPA-DUN 能够处理任意采样设置，增强了可解释性与泛化性。在仿真与真实数据集上的大量实验表明，SPA-DUN 不仅可用单一模型适用于多种采样设置，还以极高的效率取得了 SOTA 性能。
引用
@article{arxiv.2307.07291,
title = {Sampling-Priors-Augmented Deep Unfolding Network for Robust Video Compressive Sensing},
author = {Yuhao Huang and Gangrong Qu and Youran Ge},
journal= {arXiv preprint arXiv:2307.07291},
year = {2023}
}