基于循环一致性的无监督视频插帧
计算机视觉与模式识别
2021-03-30 v3
摘要
通过插帧学习合成高帧率视频需要大量高帧率训练视频，然而此类视频十分稀缺，尤其是在高分辨率下。在此，我们提出利用循环一致性直接从低帧率视频合成高帧率视频的无监督技术。对于连续的三元组帧，我们优化模型以最小化中心帧与其循环重构之间的差异，该循环重构是通过对插值后的中间帧再次反向插值得到的。仅此简单的无监督约束即可取得与使用真实中间帧进行监督学习相当的结果。我们进一步引入一个伪监督损失项，强制插值帧与预训练插值模型的预测保持一致。该伪监督损失项与循环一致性结合使用，可有效地将预训练模型适应到新的目标域。在无需额外数据且完全无监督的情况下，我们的技术在新的目标域上显著提升了预训练模型，在 Slowflow 和 Sintel 评估数据集上分别将 PSNR 值从 32.84dB 提升至 33.05dB、从 31.82dB 提升至 32.53dB。
引用
@article{arxiv.1906.05928,
title = {Unsupervised Video Interpolation Using Cycle Consistency},
author = {Fitsum A. Reda and Deqing Sun and Aysegul Dundar and Mohammad Shoeybi and Guilin Liu and Kevin J. Shih and Andrew Tao and Jan Kautz and Bryan Catanzaro},
journal= {arXiv preprint arXiv:1906.05928},
year = {2021}
}
备注
Published in ICCV 2019. Codes are available at https://github.com/NVIDIA/unsupervised-video-interpolation. Project website https://nv-adlr.github.io/publication/2019-UnsupervisedVideoInterpolation