用于视频快照压缩成像的自适应深度 PnP 算法
图像与视频处理
2022-01-31 v2
摘要
视频快照压缩成像（SCI）是一种有前景的高速视频捕获技术，它将成像速度从探测器转移到掩模调制，并且仅需单次测量即可捕获多帧。从测量中重建高速帧的算法在 SCI 中起着至关重要的作用。本文考虑一种有前景的重建算法框架，即即插即用（PnP），与其他深度学习网络相比，它对编码过程更为灵活。现有 PnP 算法的一个缺陷是使用预训练的去噪网络作为插入的先验，而该网络的训练数据可能与实际应用中的任务不同。为此，本文提出在线 PnP 算法，它能在 PnP 迭代中自适应更新网络参数；这使得去噪网络更适用于 SCI 重建中所需的数据。此外，对于彩色视频成像，RGB 帧需要从 Bayer 模式（或称为相机流水线中的去马赛克）中恢复。为应对这一挑战，我们设计了一个两阶段重建框架来优化这两个耦合的病态问题，并引入了专门用于视频去马赛克的深度去马赛克先验，以往相关工作甚少，而非使用单图像去马赛克网络。在仿真与真实数据集上的大量结果验证了我们的自适应深度 PnP 算法的优越性。
引用
@article{arxiv.2201.05483,
title = {Adaptive Deep PnP Algorithm for Video Snapshot Compressive Imaging},
author = {Zongliang Wu and Chengshuai Yang and Xiongfei Su and Xin Yuan},
journal= {arXiv preprint arXiv:2201.05483},
year = {2022}
}
备注
The code to reproduce the results is at https://github.com/xyvirtualgroup/AdaptivePnP_SCI