随机变分视频预测
计算机视觉与模式识别
2018-03-07 v2 机器人学
摘要
在真实世界环境中预测未来，特别是从图像等原始感官观测中进行预测，极具挑战性。真实世界事件可能是随机且不可预测的，而自然图像的高维度和复杂性要求预测模型对自然世界建立细致的理解。许多现有方法通过对环境做出简化假设来解决这一问题。一个常见假设是结果是确定性的，且只存在一种合理的未来。这可能导致在具有随机动力学的真实世界环境中产生低质量预测。本文提出一种随机变分视频预测（SV2P）方法，该方法对其潜变量的每个样本预测一种不同的可能未来。据我们所知，我们的模型是首个针对真实世界视频提供有效随机多帧预测的方法。我们在多个真实世界数据集（包括无动作条件和动作条件两类）上展示了所提方法预测视频未来细节帧的能力。我们发现，与不含随机性的同一模型以及其他随机视频预测方法相比，所提方法生成的视频预测质量有显著提升。我们的 SV2P 实现将在发表后开源。
引用
@article{arxiv.1710.11252,
title = {Stochastic Variational Video Prediction},
author = {Mohammad Babaeizadeh and Chelsea Finn and Dumitru Erhan and Roy H. Campbell and Sergey Levine},
journal= {arXiv preprint arXiv:1710.11252},
year = {2018}
}