基于快速视频插值模型和预测训练的实时视频预测

传输延迟显著影响用户在实时交互和控制中的体验质量。由于延迟不可避免，视频预测可用于缓解延迟，从而实现零延迟传输。然而，大多数现有视频预测方法计算昂贵，难以用于实时应用。在本工作中，我们提出了面向网络零延迟交互的实时视频预测方法，称为IFRVP（Intermediate Feature Refinement Video Prediction）。首先，我们提出了三种用于视频预测的训练方法，扩展了帧插值模型，其中我们利用基于IFRNet的仅卷积框架帧插值网络。其次，我们引入基于ELAN的残差块到预测模型中，以提高推理速度和准确性。我们的评估表明，所提出的模型高效运行，实现了现有视频预测方法在预测准确性与计算速度之间最佳的权衡。