运动图释放：一种新颖的视频预测方法
计算机视觉与模式识别
2024-10-30 v1
摘要
我们引入了运动图，这是一种解决视频预测问题的新方法，它根据有限的过去数据预测未来的视频帧。运动图将视频帧的块转换为相互连接的图节点，以全面描述它们之间的时空关系。这种表示克服了现有运动表示（如图像差分、光流和运动矩阵）的局限性，这些表示要么难以捕捉复杂的运动模式，要么消耗过多的内存。我们进一步提出了一种由运动图赋能的视频预测流程，展示了显著的性能提升和成本降低。在包括UCF Sports、KITTI和Cityscapes在内的各种数据集上的实验，突显了运动图强大的表示能力。特别是在UCF Sports数据集上，我们的方法匹配并超越了SOTA方法，同时模型大小显著减少了78%，GPU内存利用率大幅降低了47%。
引用
@article{arxiv.2410.22288,
title = {Motion Graph Unleashed: A Novel Approach to Video Prediction},
author = {Yiqi Zhong and Luming Liang and Bohan Tang and Ilya Zharkov and Ulrich Neumann},
journal= {arXiv preprint arXiv:2410.22288},
year = {2024}
}
备注
Accepted by NeurIPS 2024, 19 pages, 12 figures