全局先验引导调制网络用于联合超分辨率与逆色调映射
计算机视觉与模式识别
2022-11-11 v2 图像与视频处理
摘要
联合超分辨率与逆色调映射(SR-ITM)旨在提升在分辨率和动态范围上存在质量缺陷的视频的视觉质量。当使用 4K 高动态范围(HDR)电视观看低分辨率标准动态范围(LR SDR)视频时,会出现此问题。先前依赖学习局部信息的方法通常难以保持色彩一致性和长程结构相似性,导致不自然的色彩过渡和纹理伪影。为应对这些挑战,我们提出一种用于联合 SR-ITM 的全局先验引导调制网络(GPGMNet)。具体而言,我们设计了一个全局先验提取模块(GPEM),分别提取有益于 ITM 和 SR 任务的色彩一致性先验与结构相似性先验。为进一步利用全局先验并保留空间信息,我们设计了多个参数极少的全局先验引导空间调制块(GSMBs)用于中间特征调制,其中调制参数由共享全局先验和来自空间金字塔卷积块(SPCB)的空间特征图生成。借助这些精细设计,GPGMNet 能以更低计算复杂度实现更高视觉质量。大量实验表明,我们提出的 GPGMNet 优于最先进的方法。具体地,我们提出的模型在 PSNR 上超出最先进方法 0.64 dB,参数减少 69%,并加速 3.1。代码将很快发布。
引用
@article{arxiv.2208.06885,
title = {Global Priors Guided Modulation Network for Joint Super-Resolution and Inverse Tone-Mapping},
author = {Gang He and Shaoyi Long and Li Xu and Chang Wu and Jinjia Zhou and Ming Sun and Xing Wen and Yurong Dai},
journal= {arXiv preprint arXiv:2208.06885},
year = {2022}
}
备注
10 pages, 7 figures