面向帧插值的稀疏性引导网络设计
计算机视觉与模式识别
2022-09-13 v1
摘要
基于 DNN 的帧插值从两帧连续图像生成中间帧，通常依赖于具有大量特征的模型架构，阻碍了其在移动设备等资源受限系统上的部署。我们提出了一种用于帧插值的压缩驱动网络设计，利用通过稀疏性诱导优化进行的模型剪枝，在获得更高性能的同时大幅减小模型尺寸。具体而言，我们首先压缩近期提出的 AdaCoF 模型，并展示压缩 10 倍的 AdaCoF 与其原始版本性能相近，其中在不同超参数设定下全面研究了将逐层稀疏性信息用作引导的多种策略。随后我们通过引入多分辨率扭曲模块来增强该压缩模型，其利用多级细节改善了视觉一致性。结果表明，我们以原始 AdaCoF 四分之一的尺寸实现了可观的性能提升。此外，我们的模型在多种数据集上与其他最先进方法相比表现优越。我们注意到所提出的压缩驱动框架具有通用性，可轻松迁移到其他基于 DNN 的帧插值算法。源代码见 https://github.com/tding1/CDFI。
引用
@article{arxiv.2209.04551,
title = {Sparsity-guided Network Design for Frame Interpolation},
author = {Tianyu Ding and Luming Liang and Zhihui Zhu and Tianyi Chen and Ilya Zharkov},
journal= {arXiv preprint arXiv:2209.04551},
year = {2022}
}
备注
Submitted to IEEE Transactions on Pattern Analysis and Machine Intelligence. The corresponding CVPR paper can be found at arXiv:2103.10559