基于对比学习的无监督 HDR 图像与视频色调映射
计算机视觉与模式识别
2023-06-27 v2 图像与视频处理
摘要
捕获高动态范围（HDR）图像（视频）颇具吸引力，因为它能揭示暗区和亮区的细节。由于主流屏幕仅支持低动态范围（LDR）内容，因此需要色调映射算法来压缩 HDR 图像（视频）的动态范围。尽管图像色调映射已被广泛研究，视频色调映射尤其是基于深度学习的方法仍相对滞后，原因在于缺乏 HDR-LDR 视频对。本工作中，我们提出了一个统一的框架（IVTMNet）用于无监督图像与视频色调映射。为改进无监督训练，我们提出了基于域和实例的对比学习损失。不同于使用通用特征提取器（如 VGG）提取特征以进行相似性度量，我们提出了一种新颖的潜码，它是所提取特征的亮度与对比度的聚合，用以度量不同样本对的相似性。我们共构建了两个负样本对和三个正样本对来约束色调映射结果的潜码。在网络结构方面，我们提出了空间特征增强（SFE）模块以实现非局部区域的信息交换与变换。对于视频色调映射，我们提出了时间特征替换（TFR）模块以高效利用时间相关性并改善视频色调映射结果的时域一致性。我们构建了一个大规模无配对 HDR-LDR 视频数据集以促进视频色调映射的无监督训练过程。实验结果表明，我们的方法优于当前最优的图像与视频色调映射方法。我们的代码与数据集可在 https://github.com/cao-cong/UnCLTMO 获取。
引用
@article{arxiv.2303.07327,
title = {Unsupervised HDR Image and Video Tone Mapping via Contrastive Learning},
author = {Cong Cao and Huanjing Yue and Xin Liu and Jingyu Yang},
journal= {arXiv preprint arXiv:2303.07327},
year = {2023}
}
备注
Accepted by IEEE Transactions on Circuits and Systems for Video Technology (TCSVT)