用于视频帧外推的外推—插值循环一致性学习
计算机视觉与模式识别
2020-05-28 v1
摘要
视频帧外推是一项在给定过去帧时预测未来帧的任务。与以往通常聚焦于模块设计或网络构建的研究不同，我们提出一种新颖的外推—插值循环（EIC）损失，利用预训练帧插值模块来提升外推性能。循环一致性损失已在许多视觉任务中用于两个函数空间间的稳定预测。我们使用两个映射函数——帧外推与插值——来构建该循环一致性。由于在物体遮挡和运动不确定性方面，预测中间帧比预测未来帧更容易，插值模块可有效为训练外推函数提供引导信号。EIC 损失可应用于任何现有外推算法，并保证在短期及长期未来帧上的一致预测。实验结果表明，仅在现有基线上简单添加 EIC 损失即可在 UCF101 和 KITTI 数据集上提升外推性能。
引用
@article{arxiv.2005.13194,
title = {Extrapolative-Interpolative Cycle-Consistency Learning for Video Frame Extrapolation},
author = {Sangjin Lee and Hyeongmin Lee and Taeoh Kim and Sangyoun Lee},
journal= {arXiv preprint arXiv:2005.13194},
year = {2020}
}
备注
This paper has been accepted to 2020 IEEE International Conference on Image Processing (ICIP 2020)