基于光流辅助循环神经网络双视场快照压缩成像
图像与视频处理
2021-09-14 v1 计算机视觉与模式识别
摘要
双视场快照压缩成像（SCI）旨在利用 2D 传感器（探测器）于单次快照中捕获两个视场（FoV）的视频，实现联合 FoV 与时间压缩感知，从而具备低带宽、低功耗与低成本的优点。然而，现有基于模型的重构算法难以重建各个独立场景，其通常需穷尽式参数调优且对大规模数据运行时间极长。本文提出一种用于双视频 SCI 系统的光流辅助循环神经网络，可在数秒内提供高质量解码。首先，我们发展一种多样性放大方法以增大两 FoV 场景间差异，并设计具双分支的深度卷积神经网络从单次测量中分离不同场景。其次，我们将相邻帧提取的双向光流与循环神经网络整合，以顺序方式联合重构各视频。在仿真与真实数据上的大量结果表明，我们所提模型在短推理时间内具有优越性能。代码与数据见 https://github.com/RuiyingLu/OFaNet-for-Dual-view-SCI。
引用
@article{arxiv.2109.05287,
title = {Dual-view Snapshot Compressive Imaging via Optical Flow Aided Recurrent Neural Network},
author = {Ruiying Lu and Bo Chen and Guanliang Liu and Ziheng Cheng and Mu Qiao and Xin Yuan},
journal= {arXiv preprint arXiv:2109.05287},
year = {2021}
}