受脑启发的缺失视频序列推断
计算机视觉与模式识别
2019-12-17 v1
摘要
本文提出一种新颖的端到端架构，可生成关联两给定不连续帧的多种合理视频序列。我们的工作受人类推断能力的启发。具体而言，给定两幅静态图像，人类能够推断其间可能发生之事，并给出推断的多样版本。我们首先训练模型学习变换以理解给定帧内的运动趋势。为模仿人类推断，我们引入从高斯分布采样的潜变量。通过将从高斯分布采样的不同潜变量与所学变换特征相融合，模型可学习更多样的可能运动模式。随后将这些运动模式作用于原始帧，可获得多样对应的中间视频序列。此外，该框架以对抗方式在无监督学习下训练。在moving Mnist数据集与2D Shapes数据集上的评估表明，我们的模型能在一定程度上模仿人类推断。
引用
@article{arxiv.1912.06980,
title = {Brain-Inspired Inference on Missing Video Sequence},
author = {Weimian Li and Baoyang Chen and Wenmin Wang},
journal= {arXiv preprint arXiv:1912.06980},
year = {2019}
}
备注
4 pages