TRNR：基于块分析以少量图像进行任务驱动的图像去雨与去噪
计算机视觉与模式识别
2023-01-03 v2
摘要
近期基于学习的图像去雨与去噪的成功主要归因于精心设计的神经网络架构与大型标注数据集。然而，我们发现当前的图像去雨与去噪方法存在图像利用率低的问题。为缓解深度模型对大型标注数据集的依赖，我们提出基于块分析策略的任务驱动图像去雨与去噪（TRNR）。该块分析策略采样具有多种空间与统计属性的图像块用于训练，并能提高图像利用率。此外，块分析策略促使我们为任务驱动方法 TRNR 引入 N-frequency-K-shot 学习任务。TRNR 允许神经网络从大量 N-frequency-K-shot 学习任务中而非从大量数据中学习。为验证 TRNR 的有效性，我们构建了多尺度残差网络（MSResNet）用于图像去雨与高斯噪声去除。具体而言，我们以少量图像（例如 Rain100H 的 20.0% 训练集）训练 MSResNet 进行图像去雨与去噪。实验结果表明，当数据稀缺时 TRNR 使 MSResNet 学习更为有效。实验还显示 TRNR 提升了现有方法的性能。此外，使用 TRNR 以少量图像训练的 MSResNet 优于多数近期在大型标注数据集上以数据驱动训练的深度学习模型。这些实验结果证实了所提 TRNR 的有效性与优越性。源代码见 \url{https://github.com/Schizophreni/MSResNet-TRNR}。
引用
@article{arxiv.2112.01924,
title = {TRNR: Task-Driven Image Rain and Noise Removal with a Few Images Based on Patch Analysis},
author = {Wu Ran and Bohong Yang and Peirong Ma and Hong Lu},
journal= {arXiv preprint arXiv:2112.01924},
year = {2023}
}
备注
16 pages