用于高效帧插值的不确定性引导空间剪枝架构
计算机视觉与模式识别
2023-10-31 v4
摘要
视频帧插值（VFI）模型对所有位置应用卷积操作，导致在运动简单的区域产生冗余计算。我们可以使用动态空间剪枝方法来跳过冗余计算，但该方法在没有监督的情况下无法在 VFI 任务中正确识别简单区域。在本文中，我们提出了一种不确定性引导空间剪枝（UGSP）架构，以动态跳过冗余计算从而实现高效帧插值。具体而言，低不确定性的像素指示简单区域，在这些区域可以减少计算而不会带来不良的视觉结果。因此，我们利用不确定性生成的掩码标签来引导我们的 UGSP 正确定位简单区域。此外，我们提出了一种自对比训练策略，利用辅助非剪枝分支来提升 UGSP 的性能。大量实验表明，与无剪枝的基线相比，UGSP 在 Vimeo90K/UCF101/MiddleBury 数据集上保持了性能，但将 FLOPs 降低了 34%/52%/30%。此外，我们的方法在多个基准上以更低的 FLOPs 实现了最先进的性能。
引用
@article{arxiv.2307.16555,
title = {Uncertainty-Guided Spatial Pruning Architecture for Efficient Frame Interpolation},
author = {Ri Cheng and Xuhao Jiang and Ruian He and Shili Zhou and Weimin Tan and Bo Yan},
journal= {arXiv preprint arXiv:2307.16555},
year = {2023}
}
备注
ACM Multimedia 2023