面向移动设备实时图像去噪的轻量级网络
计算机视觉与模式识别
2023-05-26 v2 图像与视频处理
摘要
深度卷积神经网络在图像去噪任务中取得了巨大进展。然而，其复杂的架构和沉重的计算开销阻碍了它们在移动设备上的部署。近期在设计轻量级去噪网络方面的一些工作侧重于减少FLOPs（浮点运算）或参数量。然而，这些指标与设备端延迟并不直接相关。在本文中，我们识别了影响基于CNN模型在移动设备上运行时性能的真正瓶颈：内存访问开销和NPU不兼容操作，并基于此构建模型。为进一步提升去噪性能，提出了兼具低延迟和优异去噪性能的移动友好型注意力模块MFA和模型重参数化模块RepConv。为此，我们提出了一种移动友好型去噪网络，即MFDNet。实验表明，MFDNet在移动设备上的实时延迟下，在真实世界去噪基准SIDD和DND上达到了SOTA性能。代码和预训练模型将被发布。
引用
@article{arxiv.2211.04687,
title = {Lightweight network towards real-time image denoising on mobile devices},
author = {Zhuoqun Liu and Meiguang Jin and Ying Chen and Huaida Liu and Canqian Yang and Hongkai Xiong},
journal= {arXiv preprint arXiv:2211.04687},
year = {2023}
}
备注
Under review at the 2023 IEEE International Conference on Image Processing (ICIP 2023)