基于扩散模型的高效图像去模糊网络
计算机视觉与模式识别
2024-05-30 v2
摘要
本文提出了一种用于散焦去模糊的滑动窗口模型，名为 Swintormer，该模型以极低的内存占用实现了迄今最佳性能。此方法利用扩散模型生成潜在先验特征，有助于恢复更精细的图像细节。此外，通过采用滑动窗口策略，它整合了专门的 Transformer 模块以提升推理效率。这种新方法的采用使得每次迭代的乘加运算量（MACs）大幅减少，从而显著降低了内存需求。与当前领先的 GRL 方法相比，我们的 Swintormer 模型将必须依赖内存容量的计算负载从 140.35 GMACs 大幅降低至 8.02 GMACs，同时将散焦去模糊的峰值信噪比（PSNR）从 27.04 dB 提升至 27.07 dB。这项创新技术使得在内存受限设备上处理更高分辨率的图像成为可能，极大地拓宽了潜在的应用场景。文章最后进行了消融研究，全面考察了每个网络模块对最终性能的贡献。源代码和模型将在以下网站提供：https://github.com/bnm6900030/swintormer。
引用
@article{arxiv.2401.05907,
title = {Efficient Image Deblurring Networks based on Diffusion Models},
author = {Kang Chen and Yuanjie Liu},
journal= {arXiv preprint arXiv:2401.05907},
year = {2024}
}