一种用于高时空分辨率视频采集的双相机系统
图像与视频处理
2020-03-25 v2 计算机视觉与模式识别
摘要
本文提出了一种用于高时空分辨率（HSTR）视频采集的双相机系统，其中一个相机拍摄高空间分辨率、低帧率（HSR-LFR）的视频，另一个相机捕获低空间分辨率、高帧率（LSR-HFR）的视频。我们的主要目标是将来自 LSR-HFR 和 HSR-LFR 相机的视频合成为 HSTR 视频。我们提出了一种端到端学习框架 AWnet，主要由 FlowNet 和 FusionNet 组成，以帧递归方式学习像素域中的自适应加权函数以合并输入。为了改善实际所用相机的重建质量，我们在同一框架下还引入了噪声正则化。我们的方法在仿真中使用不同公开可用视频和光场数据集的客观 PSNR 测量，以及使用双 iPhone 7 和 Grasshopper3 相机捕获的真实数据的主观评估中，均展现出显著的性能提升。我们进一步进行了消融研究，以调查和探索系统的各个方面（如参考结构、相机视差、曝光时间等），从而充分理解其在潜在应用中的能力。
引用
@article{arxiv.1909.13051,
title = {A Dual Camera System for High Spatiotemporal Resolution Video Acquisition},
author = {Ming Cheng and Zhan Ma and M. Salman Asif and Yiling Xu and Haojie Liu and Wenbo Bao and Jun Sun},
journal= {arXiv preprint arXiv:1909.13051},
year = {2020}
}
备注
To appear in IEEE Transactions on Pattern Analysis and Machine Intelligence