HSTR-Net：基于参考的双相机视频超分辨率
计算机视觉与模式识别
2024-09-09 v2
摘要
高时空分辨率(HSTR)视频记录在增强各类需要精细细节信息的图像任务中起着关键作用。最先进的相机可同时提供所需的高帧率与高空间分辨率，但成本高昂。为缓解此问题，本文提出一种双相机系统，利用基于参考的超分辨率(RefSR)生成HSTR视频。一台相机捕获高空间分辨率低帧率(HSLF)视频，另一台同时捕获低空间分辨率高帧率(LSHF)视频，针对同一场景。提出一种新颖的深度学习架构来融合HSLF与LSHF视频流并合成HSTR视频帧。所提模型结合光流估计与(通道维度和空间)注意力机制，以捕获两路视频流帧间的精细运动与复杂依赖关系。仿真表明，所提模型在PSNR和SSIM指标上较现有基于参考的SR技术有显著提升。该方法在搭载双相机的功耗受限无人机上部署时，也展现出足够的每秒帧数(FPS)以用于空中监测。
引用
@article{arxiv.2310.12092,
title = {HSTR-Net: Reference Based Video Super-resolution with Dual Cameras},
author = {H. Umut Suluhan and Abdullah Enes Doruk and Hasan F. Ates and Bahadir K. Gunturk},
journal= {arXiv preprint arXiv:2310.12092},
year = {2024}
}
备注
15 pages, 8 figures, 8 tables