跨尺度与跨维度：基于深度内部学习的时间超分辨率

当以低帧率相机记录极快动态事件时，所得视频会遭受严重的运动模糊（由于曝光时间）和运动混叠（由于时间采样率低）。真正的时间超分辨率（TSR）不仅仅是时间插值（提高帧率）。它还能恢复超出输入视频时间奈奎斯特极限的新的高时间频率，从而解决运动模糊和运动混叠效应，而时间帧插值（无论多么复杂）无法消除这些效应。本文提出一种用于真正 TSR 的“深度内部学习”方法。我们在直接从低帧率输入视频中提取的样例上训练特定于视频的 CNN。我们的方法利用了单个视频序列内小时空块的强复发性，包括在该视频的不同时空尺度之内和之间。我们进一步（首次）观察到小时空块也在视频序列的跨维度上复发——即通过交换空间和时间维度。特别地，视频帧的较高空间分辨率为如何提高该视频的时间分辨率提供了有力示例。此类内部特定于视频的示例产生了强自监督，除输入视频本身外不需要任何数据。这实现了复杂视频的零样本时间超分辨率（Zero-Shot Temporal-SR），消除了运动模糊和运动混叠，优于先前在外部视频数据集上训练的有监督方法。