JSI-GAN：基于 GAN 的联合超分辨率与逆色调映射网络，采用像素级任务特定滤波器用于 UHD HDR 视频
图像与视频处理
2019-12-17 v2 计算机视觉与模式识别
摘要
近期已对超分辨率（SR）与逆色调映射（ITM）的联合学习进行了探索，以将传统的低分辨率（LR）标准动态范围（SDR）视频转换为高分辨率（HR）高动态范围（HDR）视频，满足日益增长的 UHD HDR 电视/广播应用需求。然而，先前基于 CNN 的方法直接从 LR SDR 帧重建 HR HDR 帧，且仅以简单的 L2 损失进行训练。本文中，我们采用分而治之的思路设计了一种新颖的基于 GAN 的联合 SR-ITM 网络，称为 JSI-GAN，其由三个任务特定的子网络组成：图像重建子网络、细节恢复（DR）子网络和局部对比度增强（LCE）子网络。我们精心设计了这些子网络，使其得到恰当训练以达成预期目的，通过 DR 子网络学习一对像素级一维可分离滤波器用于细节恢复，并通过 LCE 子网络学习像素级二维局部滤波器用于对比度增强。此外，为有效训练 JSI-GAN，我们提出一种新颖的细节 GAN 损失 alongside 常规 GAN 损失，有助于同时增强局部细节与对比度以重建高质量 HR HDR 结果。当所有子网络联合训练良好时，所获得的预测 HR HDR 结果质量更高，相较先前方法在 PSNR 上至少有 0.41 dB 的增益。
引用
@article{arxiv.1909.04391,
title = {JSI-GAN: GAN-Based Joint Super-Resolution and Inverse Tone-Mapping with Pixel-Wise Task-Specific Filters for UHD HDR Video},
author = {Soo Ye Kim and Jihyong Oh and Munchurl Kim},
journal= {arXiv preprint arXiv:1909.04391},
year = {2019}
}
备注
The first two authors contributed equally to this work. Accepted at AAAI 2020. (Camera-ready version)