学习图像自适应 3D 查找表以实现实时高性能照片增强
图像与视频处理
2020-10-01 v1 计算机视觉与模式识别
摘要
近年来，基于学习的方法在增强照片色彩与色调方面日益流行。然而，许多现有照片增强方法要么结果不尽如人意，要么消耗过多计算与内存资源，阻碍了其在实际中应用于高分辨率图像（通常超过 1200 万像素）。在本文中，我们学习图像自适应的三维查找表（3D LUTs）以实现快速且鲁棒的 photo enhancement。3D LUTs 被广泛用于调控照片的色彩与色调，但它们通常在相机成像流水线或照片编辑工具中手动调节并固定。据我们所知，我们首次提出利用成对或非成对学习从标注数据中学习 3D LUTs。更重要的是，我们学习的 3D LUT 是图像自适应的，可实现灵活的照片增强。我们以端到端方式同时学习多个基 3D LUTs 与一个小型卷积神经网络（CNN）。该小型 CNN 对输入图像的降采样版本进行处理，预测内容相关权重，将多个基 3D LUTs 融合为一个图像自适应的查找表，用于高效转换源图像的颜色与色调。我们的模型参数少于 60 万，使用一块 Titan RTX GPU 处理 4K 分辨率图像耗时不到 2 毫秒。在保持极高效率的同时，我们的模型在两个公开基准数据集上以 PSNR、SSIM 与色差指标衡量，大幅优于最先进的照片增强方法。
引用
@article{arxiv.2009.14468,
title = {Learning Image-adaptive 3D Lookup Tables for High Performance Photo Enhancement in Real-time},
author = {Hui Zeng and Jianrui Cai and Lida Li and Zisheng Cao and Lei Zhang},
journal= {arXiv preprint arXiv:2009.14468},
year = {2020}
}
备注
High quality adaptive photo enhancement in real-time (<2ms for 4K resolution images)! Accepted by IEEE Transactions on Pattern Analysis and Machine Intelligence