集成难度预评估的动态视频帧插值
计算机视觉与模式识别
2023-04-26 v1
摘要
视频帧插值（VFI）近年来取得巨大进展。然而现有 VFI 模型仍难以在准确率与效率间取得良好权衡：快速模型常准确率较差；准确模型通常运行缓慢。但具有小运动或清晰纹理的简单样本可用简单模型取得有竞争力结果，且不需 heavy 计算。本文中，我们提出一个将难度评估与视频帧插值相结合的集成流水线。具体而言，它首先利用预评估模型度量输入帧的插值难度等级，然后动态选择合适的 VFI 模型生成插值结果。此外，我们收集并标注了一个大规模 VFI 难度评估数据集以训练预评估模型。大量实验表明，简单样本通过快速模型，而困难样本用 heavy 模型推理，且我们提出的流水线能改善 VFI 的准确率-效率权衡。
引用
@article{arxiv.2304.12664,
title = {Dynamic Video Frame Interpolation with integrated Difficulty Pre-Assessment},
author = {Ban Chen and Xin Jin and Youxin Chen and Longhai Wu and Jie Chen and Jayoon Koo and Cheul-hee Hahm},
journal= {arXiv preprint arXiv:2304.12664},
year = {2023}
}