通过特征对比掩蔽损失学习自监督色调映射算子
计算机视觉与模式识别
2021-10-20 v1 图像与视频处理
摘要
由于采集技术的快速发展，高动态范围 (HDR) 内容正变得无处不在。然而，常见显示设备的动态范围仍然有限，因此色调映射 (TM) 仍是图像可视化的关键挑战。近期工作表明，与传统方法相比，神经网络在此任务中可取得卓越性能，但这些基于学习的方法的结果质量受限于训练数据。大多数现有工作使用从现有传统色调映射算子（常由质量度量引导）中精选的最佳性能结果作为训练集，因此，新生成结果的质量从根本上受限于此类算子的性能。该质量甚至可能进一步受用于训练的 HDR 内容池的限制。在本工作中，我们提出一种基于学习的自监督色调映射算子，其在测试时针对每幅 HDR 图像专门训练，且不需要任何数据标注。我们方法的关键新颖性在于一个精心设计的损失函数，其构建于对比感知的基础知识之上，允许直接比较 HDR 与色调映射图像中的内容。我们通过将经典 VGG 特征图重构为特征对比图来实现此目标，这些图以局部邻域中的平均幅度归一化局部特征差异，使我们的损失能考虑对比掩蔽效应。我们进行了广泛的消融研究与参数探索，并证明我们的方案以一组固定的单一参数优于现有方法，这一点由客观与主观度量共同确认。
引用
@article{arxiv.2110.09866,
title = {Learning a self-supervised tone mapping operator via feature contrast masking loss},
author = {Chao Wang and Bin Chen and Hans-Peter Seidel and Karol Myszkowski and Ana Serrano},
journal= {arXiv preprint arXiv:2110.09866},
year = {2021}
}