LADDER：一种高效的视频帧插值框架
计算机视觉与模式识别
2024-04-18 v1
摘要
视频帧插值（VFI）是慢动作生成、帧率转换、视频帧恢复等多种应用中的关键技术。本文介绍了一个高效的视频帧插值框架，旨在实现效率与质量之间的良好平衡。我们的框架遵循由光流估计器和细化模块组成的通用范式，同时包含精心设计的组件。首先，我们在光流估计器中采用大核深度可分离卷积，同时减少参数并增强感受野，以编码丰富的上下文并处理复杂运动。其次，与常见的UNet结构（编码器-解码器结构）的细化模块设计不同，我们发现这种设计冗余，我们的仅解码器细化模块直接从粗到细增强结果，提供更高效的过程。此外，为了处理高清帧的挑战，我们在训练过程中引入了一种创新的HD感知增强策略，从而持续提升高清图像的效果。在多个数据集（Vimeo90K、UCF101、Xiph和SNU-FILM）上进行了大量实验。结果表明，我们的方法在显著减少FLOPs和参数的同时，实现了最先进的性能，达到了更好的效率与质量平衡点。
引用
@article{arxiv.2404.11108,
title = {LADDER: An Efficient Framework for Video Frame Interpolation},
author = {Tong Shen and Dong Li and Ziheng Gao and Lu Tian and Emad Barsoum},
journal= {arXiv preprint arXiv:2404.11108},
year = {2024}
}