基于示例引导的视频预测
计算机视觉与模式识别
2020-07-06 v1
摘要
在视频预测任务中，一个主要挑战是捕捉未来内容与动态的多模态特性。在本工作中，我们提出了一个简单而有效的框架，能够高效预测合理的未来状态。其核心见解是，序列的潜在分布可以用训练池（即专家示例）中类似示例的分布来近似。通过进一步将一种新颖的优化方案纳入训练过程，可以从由检索到的示例所构造的分布中高效地采样出合理预测。同时，我们的方法可与现有的随机预测模型无缝集成；在定量与定性方面的综合实验中均观察到了显著提升。我们还展示了预测未见类别运动的泛化能力，即在训练阶段无需访问相应数据。
引用
@article{arxiv.2007.01738,
title = {Video Prediction via Example Guidance},
author = {Jingwei Xu and Huazhe Xu and Bingbing Ni and Xiaokang Yang and Trevor Darrell},
journal= {arXiv preprint arXiv:2007.01738},
year = {2020}
}
备注
Project Page: https://sites.google.com/view/vpeg-supp/home