利用聚焦与散焦图像对的自适应学习去摩尔纹方法

摩尔纹伪影在数字摄影中十分常见，源于高频场景内容与相机彩色滤光片阵列之间的干涉。现有基于大规模数据集训练的深度学习去摩尔纹方法在处理各种复杂摩尔纹图案时能力有限，且主要关注对数字显示屏所拍照片的去摩尔纹。此外，在自然场景中获取无摩尔纹的真值十分困难，但训练又需要它。本文提出一种自适应学习方法，借助额外的无摩尔纹散焦模糊图像，对高频图像进行去摩尔纹。给定一幅受摩尔纹退化的图像和一幅无摩尔纹模糊图像，我们的网络以无需显式训练阶段、而是在测试时自适应（test-time adaptation）的自适应策略预测无摩尔纹清晰图像与模糊核。我们的模型包含两个子网络并迭代工作。每次迭代中，一个子网络以摩尔纹图像为输入，去除摩尔纹图案并恢复图像细节；另一个子网络从模糊图像估计模糊核。两个子网络联合优化。大量实验表明，我们的方法优于当前最优（state-of-the-art）方法，并能产生高质量去摩尔纹结果。它可很好泛化至去除显示屏所致摩尔纹伪影的任务。此外，我们构建了一个新的摩尔纹数据集，包含具有屏幕与纹理摩尔纹伪影的图像。据我们所知，这是首个含真实纹理摩尔纹图案的数据集。