用于高效局部运动去模糊的自适应窗口剪枝
计算机视觉与模式识别
2023-10-17 v2
摘要
局部运动模糊在真实摄影中常见，源于曝光期间运动物体与静止背景的混合。现有的图像去模糊方法主要关注全局去模糊，会不经意地影响局部模糊图像中背景的清晰度，并在清晰像素上浪费不必要的计算，尤其对于高分辨率图像。本文旨在自适应且高效地恢复高分辨率局部模糊图像。我们提出了一种构建于自适应窗口剪枝Transformer模块(AdaWPT)上的局部运动去模糊视觉Transformer (LMD-ViT)。为使去模糊聚焦于局部区域并减少计算，AdaWPT剪枝掉不必要的窗口，仅允许活跃窗口参与去模糊过程。该剪枝操作依赖于由置信度预测器预测的模糊置信度，该预测器使用带Gumbel-Softmax重参数化的重建损失和由标注模糊掩码引导的剪枝损失进行端到端训练。我们的方法有效去除局部运动模糊而不扭曲清晰区域，其与最先进方法相比在感知和定量上的卓越提升证明了这一点。此外，我们的方法将FLOPs大幅降低66%，并相比基于Transformer的去模糊方法实现了超过两倍的推理速度提升。我们将公开我们的代码和标注模糊掩码。
引用
@article{arxiv.2306.14268,
title = {Adaptive Window Pruning for Efficient Local Motion Deblurring},
author = {Haoying Li and Jixin Zhao and Shangchen Zhou and Huajun Feng and Chongyi Li and Chen Change Loy},
journal= {arXiv preprint arXiv:2306.14268},
year = {2023}
}
备注
17 pages