ST-MFNet Mini：知识蒸馏驱动的帧插值
图像与视频处理
2023-02-24 v2
摘要
当前，基于深度学习的视频帧插值（VFI）面临的主要挑战之一是许多高性能 VFI 方法伴随较大的模型尺寸和较高的计算复杂度。本文提出了一种基于蒸馏的两阶段工作流，用于获得压缩的 VFI 模型，这些模型以大幅减小的模型尺寸和复杂度达到与当前最优方法相竞争的性能。具体而言，首先对近期提出的帧插值模型 ST-MFNet 应用基于优化的网络剪枝方法，该模型优于许多其他 VFI 方法但存在模型尺寸过大的问题。所得新网络架构实现了参数量减少 91% 和速度提升 35%。其次，通过使用拉普拉斯蒸馏损失的教师-学生知识蒸馏训练过程进一步增强新网络的性能。最终得到的低复杂度模型 ST-MFNet Mini 达到了与大多数现有高复杂度 VFI 方法相当的性能，仅被原始 ST-MFNet 超越。我们的源代码可在 https://github.com/crispianm/ST-MFNet-Mini 获取。
引用
@article{arxiv.2302.08455,
title = {ST-MFNet Mini: Knowledge Distillation-Driven Frame Interpolation},
author = {Crispian Morris and Duolikun Danier and Fan Zhang and Nantheera Anantrasirichai and David R. Bull},
journal= {arXiv preprint arXiv:2302.08455},
year = {2023}
}