面向大规模视频压缩感知的内存高效网络
图像与视频处理
2021-03-08 v2 计算机视觉与模式识别
摘要
视频快照压缩成像（SCI）利用二维探测器在单次曝光中捕获一段视频帧序列。其基本原理是在一次曝光时间内，对高速场景施加不同掩模以形成压缩测量。在已知掩模的条件下，采用优化算法或深度学习方法从该快照测量中重建所需的高速视频帧。遗憾的是，尽管这些方法能取得不错的结果，优化算法的较长运行时间或深度网络巨大的训练内存占用仍阻碍其实际应用。本文基于多组可逆三维卷积神经网络，开发了面向大规模视频SCI的内存高效网络。除用于灰度SCI系统的基础模型外，我们进一步将去马赛克与SCI重建相结合，直接从Bayer测量中恢复彩色视频。在SCI相机捕获的仿真与真实数据上的大量结果表明，我们提出的模型以更少内存优于先前最先进方法，因此可用于大规模问题。代码见https://github.com/BoChenGroup/RevSCI-net。
引用
@article{arxiv.2103.03089,
title = {Memory-Efficient Network for Large-scale Video Compressive Sensing},
author = {Ziheng Cheng and Bo Chen and Guanliang Liu and Hao Zhang and Ruiying Lu and Zhengjue Wang and Xin Yuan},
journal= {arXiv preprint arXiv:2103.03089},
year = {2021}
}