更好的引导者预测未来更准：差分引导生成对抗网络
计算机视觉与模式识别
2019-01-08 v1
摘要
预测未来是一种幻想但实用的工作。它是智能体（如自动驾驶车辆、医疗监测设备和机器人）的关键组成部分。在这项工作中，我们考虑从先前的观测生成未见过的未来帧，由于帧动态中的不确定性，这 notoriously 困难。尽管近期基于生成对抗网络（GANs）的工作取得了显著进展，在做出准确且真实的预测方面仍存在障碍。本文提出一种基于帧间差分的新型 GAN 以规避这些困难。更具体地，我们的模型是一个多阶段生成网络，命名为差分引导生成对抗网络（DGGAN）。DGGAN 学习显式地强制由合成帧间差分引导的未来帧预测。给定帧序列，DGGAN 首先使用双路径生成元信息。一条路径称为粗帧生成器，预测未来帧的粗略细节；另一条路径称为差分引导生成器，生成包含互补精细细节的差分图像。然后我们的粗略细节将在 GANs 的支持下通过差分图像的引导被细化。借助该模型与新架构，我们在 UCF-101、KITTI 上的未来视频预测取得了最先进的性能。
引用
@article{arxiv.1901.01649,
title = {Better Guider Predicts Future Better: Difference Guided Generative Adversarial Networks},
author = {Guohao Ying and Yingtian Zou and Lin Wan and Yiming Hu and Jiashi Feng},
journal= {arXiv preprint arXiv:1901.01649},
year = {2019}
}
备注
To appear in ACCV 2018