4D LUT：用于图像增强的可学习上下文感知四维查找表
图像与视频处理
2022-09-07 v1 计算机视觉与模式识别
摘要
图像增强旨在通过润色色彩与色调来提升照片的审美视觉质量，是专业数字摄影中的一项关键技术。近年来，基于深度学习的图像增强算法取得了令人瞩目的性能并受到越来越多的关注。然而，典型工作试图为所有像素的色彩变换构建一个统一的增强器，忽略了照片中不同内容（如天空、海洋等）之间的像素差异，而这些差异对照片至关重要，从而导致不尽人意的结果。本文提出一种新颖的可学习上下文感知四维查找表（4D LUT），通过自适应地学习照片上下文，实现对每幅图像中不同内容的依赖于内容的增强。具体而言，我们首先引入一个轻量级上下文编码器与一个参数编码器，分别用于学习像素级类别的上下文图以及一组图像自适应系数。随后，通过系数整合多个基 4D LUT 生成上下文感知 4D LUT。最后，将源图像与上下文图输入融合后的上下文感知 4D~LUT 并通过四次线性插值，即可得到增强图像。相较于传统 3D LUT（即 RGB 到 RGB 映射，常用于相机成像流水线系统或工具），4D LUT（即 RGBC（RGB+上下文）到 RGB 映射）能够对每幅图像中不同内容的像素实现更精细的色彩变换控制，即便它们具有相同的 RGB 值。实验结果表明，我们的方法在广泛使用的数据集基准上优于其他 SOTA 方法。
引用
@article{arxiv.2209.01749,
title = {4D LUT: Learnable Context-Aware 4D Lookup Table for Image Enhancement},
author = {Chengxu Liu and Huan Yang and Jianlong Fu and Xueming Qian},
journal= {arXiv preprint arXiv:2209.01749},
year = {2022}
}