中文

噪声自回归:一种无需任务相关数据即可增强低光图像的新学习范式

计算机视觉与模式识别 2024-12-09 v3

摘要

基于深度学习的低光图像增强(LLIE)是利用深度神经网络增强图像照度同时保持图像内容不变的任务。从训练数据的角度看,现有方法由以下三类数据之一驱动完成 LLIE 任务:成对数据、非成对数据和零参考数据。这些各类数据驱动的方法各有优势,例如基于零参考数据的方法对训练数据要求极低,且能满足许多场景下的人类需求。本文中,我们利用纯高斯噪声完成 LLIE 任务,进一步降低了对 LLIE 任务训练数据的要求,并可作为实际使用中的另一种替代方案。具体而言,我们提出无需访问任何任务相关数据的噪声自回归(NoiSER),仅通过学习一个配备实例归一化层的卷积神经网络,以随机噪声图像(每个像素为 N(0,σ2)\mathcal{N}(0,\sigma^2))作为每个训练对的输入和输出,然后将低光图像输入训练好的网络以预测正常光图像。从技术上讲,其有效性的直观解释如下:1)自回归重建了输入图像相邻像素间的对比度;2)实例归一化层可自然修正输入图像的整体幅度/光照;3)每个像素的 N(0,σ2)\mathcal{N}(0,\sigma^2) 假设在图像尺寸足够大时强制输出图像遵循著名的灰度世界假设。与当前可访问不同任务相关数据的 SOTA LLIE 方法相比,NoiSER 在增强质量上极具竞争力,且模型规模更小,训练和推理成本更低。此外,NoiSER 在缓解过曝和处理联合任务方面也表现出色。

关键词

引用

@article{arxiv.2211.04700,
  title  = {Noise Self-Regression: A New Learning Paradigm to Enhance Low-Light Images Without Task-Related Data},
  author = {Zhao Zhang and Suiyi Zhao and Xiaojie Jin and Mingliang Xu and Yi Yang and Shuicheng Yan and Meng Wang},
  journal= {arXiv preprint arXiv:2211.04700},
  year   = {2024}
}