面向双曝光传感器采集的高动态范围序列的视频帧插值
计算机视觉与模式识别
2023-06-01 v3
摘要
视频帧插值（VFI）支持许多重要应用，这些应用可能涉及时域，如慢动作回放，或涉及空域，如定格动画序列。我们专注于前一项任务，其中一个关键挑战是在存在复杂运动的情况下处理高动态范围（HDR）场景。为此，我们探索了双曝光传感器的潜在优势，这种传感器能直接提供空间对齐且时间端点对齐的清晰短曝光和模糊长曝光图像。这样，运动模糊记录了场景运动的连续时间信息，结合清晰的参考帧，使得在单次相机拍摄中实现更精确的运动采样成为可能。我们证明，这有助于在VFI任务中实现更复杂的运动重建，以及HDR帧重建，后者迄今为止仅针对原始捕获帧考虑，而未涉及插值帧。我们设计了一个在这些任务上训练的神经网络，其性能明显优于现有解决方案。我们还提出了一种场景运动复杂度度量，该度量为VFI方法在测试时的性能提供了重要见解。
引用
@article{arxiv.2206.09485,
title = {Video frame interpolation for high dynamic range sequences captured with dual-exposure sensors},
author = {Uğur Çoğalan and Mojtaba Bemana and Hans-Peter Seidel and Karol Myszkowski},
journal= {arXiv preprint arXiv:2206.09485},
year = {2023}
}
备注
13 pages, 10 figures