CDFI：面向帧插值的压缩驱动网络设计
计算机视觉与模式识别
2021-03-30 v2
摘要
基于 DNN 的帧插值——给定两帧连续图像生成中间帧——通常依赖具有海量特征的沉重模型架构，使其难以部署于资源受限系统（如移动设备）。我们提出一种面向帧插值的压缩驱动网络设计（CDFI），利用通过稀疏诱导优化的模型剪枝显著减小模型尺寸，同时获得更优性能。具体而言，我们首先压缩近期提出的 AdaCoF 模型，并显示 10 倍压缩的 AdaCoF 与其原始版本性能相近；随后我们通过引入多分辨率扭曲模块进一步改进该压缩模型，其借助多层次细节提升视觉一致性。结果，相比原始 AdaCoF，我们以仅其四分之一的尺寸实现了显著的性能提升。此外，我们的模型在广泛的数据集上优于其他 SOTA 方法。最后，所提出的压缩驱动框架具有通用性，可轻松迁移至其他基于 DNN 的帧插值算法。我们的源代码发布于 https://github.com/tding1/CDFI。
引用
@article{arxiv.2103.10559,
title = {CDFI: Compression-Driven Network Design for Frame Interpolation},
author = {Tianyu Ding and Luming Liang and Zhihui Zhu and Ilya Zharkov},
journal= {arXiv preprint arXiv:2103.10559},
year = {2021}
}
备注
To appear in the proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)