移动设备上的实时图像去摩尔纹
计算机视觉与模式识别
2023-02-07 v1
摘要
拍摄数字屏幕照片时经常出现摩尔纹，严重降低图像质量。尽管CNN在图像去摩尔纹方面取得了进展，但现有网络设计繁重，给移动设备带来了冗余的计算负担。在本文中，我们首次对加速去摩尔纹网络展开研究，并提出了一种动态去摩尔纹加速方法（DDA），旨在实现移动设备上的实时部署。我们的动机源于一个简单而普遍的事实：摩尔纹通常在图像上分布不均。因此，大量计算浪费在无摩尔纹区域。因此，我们根据图像块的复杂度按比例重新分配计算成本。为了实现这一目标，我们通过设计一种新颖的摩尔纹先验来衡量图像块的复杂度，该先验同时考虑了摩尔纹的色彩度和频率信息。然后，我们使用较大的网络恢复复杂度较高的图像块，并为复杂度较低的图像块分配较小的网络以减轻计算负担。最后，我们在参数共享的超网范式中训练所有网络，以避免额外的参数负担。在多个基准上的大量实验证明了我们提出的DDA的有效性。此外，在配备骁龙8 Gen 1芯片的VIVO X80 Pro智能手机上评估的加速效果表明，我们的方法可以大幅减少推理时间，从而在移动设备上实现实时图像去摩尔纹。源代码和模型已发布在 https://github.com/zyxxmu/DDA
引用
@article{arxiv.2302.02184,
title = {Real-Time Image Demoireing on Mobile Devices},
author = {Yuxin Zhang and Mingbao Lin and Xunchao Li and Han Liu and Guozhi Wang and Fei Chao and Shuai Ren and Yafei Wen and Xiaoxin Chen and Rongrong Ji},
journal= {arXiv preprint arXiv:2302.02184},
year = {2023}
}
备注
To appear in the eleventh International Conference on Learning Representations (ICLR 2023)