基于混合成像系统的深度慢动作视频重建

慢动作视频日益流行，但以极高帧率捕获高分辨率视频需要专业高速相机。为缓解此问题，当前技术通过帧插值提高标准视频的帧率，其假设物体线性运动，而在挑战性情形下该假设不成立。本文中，我们使用两路视频流作为输入来解决此问题：除低帧率高空间分辨率的标准主视频外，还有一路高帧率低空间分辨率的辅助视频提供时间信息。我们提出一个由对齐与外观估计组成的两阶段深度学习系统，从混合视频输入重建高分辨率慢动作视频。对于对齐，我们提出利用辅助视频帧的内容计算缺失帧与主视频两现有帧之间的光流。对于外观估计，我们提出使用上下文与遮挡感知网络融合形变帧与辅助帧。我们在合成生成的混合视频上训练模型，并在多种测试场景上展示高质量结果。为证明实用性，我们在两个具有小基线的真实双相机设置上展示了系统性能。