用于相机图像信号处理的深度对比块基子空间学习
图像与视频处理
2023-10-04 v4 计算机视觉与模式识别
机器学习
摘要
相机图像信号处理（ISP）流水线可在不同图像信号处理任务中取得引人注目的结果。然而，这类方法中的大多数，包括采用编码器-解码器深度架构完成任务的方法，通常利用均匀应用于整幅图像的滤波器。但是，将相机图像视为异质的很自然，因为颜色强度与人工噪声分布差异极大，即便在单幅图像的二维域内也是如此。多样的摩尔纹振铃、运动模糊、色彩褪化或基于镜头的投影畸变都可能潜在导致异质图像伪影滤波问题。在本文中，我们提出了一种特定的基于块、局部的子空间深度神经网络，其改进了相机ISP以对异质伪影（尤其是图像去噪）具有鲁棒性。我们将这种三重深度训练模型称为块子空间学习自编码器（PSL-AE）。PSL-AE模型不对图像失真均匀程度作假设。相反，它首先通过对比学习对从含噪与干净图像对中提取的、具有不同伪影类型或失真程度的块进行编码。然后，利用先验混合模型将每幅图像的块编码至其合适潜在子空间中的相应软簇。此外，解码器以无监督方式训练，专门针对每个簇中存在的图像块训练。实验通过增强的异质滤波（来自合成伪影及真实SIDD图像对）凸显了适应性与有效性。
引用
@article{arxiv.2104.00253,
title = {Deep Contrastive Patch-Based Subspace Learning for Camera Image Signal Processing},
author = {Yunhao Yang and Yi Wang and Chandrajit Bajaj},
journal= {arXiv preprint arXiv:2104.00253},
year = {2023}
}