自然视频序列的长期预测：基于鲁棒视频预测器的方法
计算机视觉与模式识别
2023-08-23 v1 机器学习
摘要
预测高维视频序列是一个异常困难的问题。由于不确定性，给定视频序列的可能未来数量随时间呈指数增长。当试图从有限的现实世界快照预测复杂的自然视频场景时，这一点尤为明显。固有的不确定性会随着预测向未来延伸而累积，使得长期预测非常困难。在本工作中，我们对现有工作引入若干改进，以助于构建鲁棒视频预测器（RoViPs）。我们表明，结合深度感知与基于不确定性的重建损失，能够生成高质量的短期预测。基于注意力的跳跃连接被用于实现输入特征的长距离空间运动，以进一步提升性能。最后，我们展示，通过简单地使预测器对其自身的预测误差具有鲁棒性，便可利用迭代单步预测任务生成非常长且真实的自然视频序列。
引用
@article{arxiv.2308.11079,
title = {Long-Term Prediction of Natural Video Sequences with Robust Video Predictors},
author = {Luke Ditria and Tom Drummond},
journal= {arXiv preprint arXiv:2308.11079},
year = {2023}
}