H2-Stereo：高速高分辨率立体视频系统
计算机视觉与模式识别
2022-08-05 v1
摘要
高速高分辨率立体（H2-Stereo）视频使我们能够以精细粒度感知动态三维内容。然而，使用商用相机获取 H2-Stereo 视频仍然具有挑战性。现有的空间超分辨率或时间帧插值方法分别提供了缺乏时间或空间细节的折中方案。为缓解该问题，我们提出了一种双相机系统，其中一个相机捕获富含空间细节的高空间分辨率低帧率（HSR-LFR）视频，另一个捕获具有平滑时间细节的低空间分辨率高帧率（LSR-HFR）视频。随后我们设计了一种学习信息融合网络（LIFnet），利用跨相机冗余将两路相机视图均增强至高时空分辨率（HSTR），从而有效重建 H2-Stereo 视频。我们利用视差网络在大视差场景中跨视图传递时空信息，并基于此提出用于 LSR-HFR 视图的视差引导基于流的扭曲，以及用于 HSR-LFR 视图的互补扭曲。提出特征域多尺度融合方法以最小化 HSR-LFR 视图中由遮挡引起的扭曲重影与空洞。LIFnet 使用我们从 YouTube 收集的高质量立体视频数据集以端到端方式训练。大量实验表明，在合成数据与相机捕获的大视差真实数据上，我们的模型在两路视图上均优于现有最先进（SOTA）方法。消融研究从时空分辨率、相机基线、相机失同步、长/短曝光及应用等多方面探究了我们的系统，以充分理解其在潜在应用中的能力。
引用
@article{arxiv.2208.02436,
title = {H2-Stereo: High-Speed, High-Resolution Stereoscopic Video System},
author = {Ming Cheng and Yiling Xu and Wang Shen and M. Salman Asif and Chao Ma and Jun Sun and Zhan Ma},
journal= {arXiv preprint arXiv:2208.02436},
year = {2022}
}