360VFI：面向全向视频帧插值的一个数据集与基准

佩戴式 360{\deg} 显示屏和便携式 360{\deg} 相机的不断进步，为观众提供了逼真且沉浸式的体验。然而，许多全向视频的帧率较低，可能导致视觉疲劳，而现有的平面视频帧插值方法不适用于全向视频插值，因为它们仅为传统视频设计。本文引入了用于全向视频帧插值的基准数据集 360VFI。我们提出了一种实用方法，通过引入全向视频中的畸变先验来调制畸变。具体而言，我们提出了一种金字塔畸变敏感特征提取器，利用等距矩形投影（ERP）格式的独特特征作为先验信息。此外，我们设计了解码器，通过仿射变换进一步促进中间帧的合成。360VFI 是第一个探索全向视频帧插值挑战的数据集与基准。通过我们的基准分析，我们在 proposed 360VFI 数据集中呈现了四种不同的畸变条件场景，以评估插值过程中因畸变引发的挑战。此外，实验结果表明，通过建模全向畸变可以有效提高全向视频插值的效果。