面向 HDR/WCG 显示的基于 3D-LUT 的逆色调映射中精度与内容的重分配
多媒体
2023-10-17 v2 计算机视觉与模式识别
摘要
ITM（逆色调映射）将 SDR（标准动态范围）素材转换为 HDR/WCG（高动态范围/宽色域）以用于媒体制作。这不仅发生在前端内容提供商对遗留 SDR 素材进行重制时，也发生在用户端 HDR 显示设备上适配在播 SDR 服务时。后者对效率要求更高，因此预计算的 LUT（查找表）已成为一种流行方案。然而，传统的固定 LUT 缺乏适应性，因此我们借鉴研究界的做法，将其与 AI 结合。同时，更高位深的 HDR/WCG 所需 LUT 比 SDR 更大，因此我们参考传统 ITM 以权衡效率与性能：我们使用 3 个较小的 LUT，每个分别具有非均匀打包（精度），在暗、中、亮亮度区间各自更密集。在此情况下，它们的结果仅在其各自区间内误差更小，因此我们使用贡献图将各自最优部分组合为最终结果。在该图引导下，3 个 LUT 的元素（内容）在训练过程中也会被重分配。我们进行了消融实验以验证方法有效性，并通过主观与客观实验展示其实用性。代码见：https://github.com/AndreGuo/ITMLUT。
引用
@article{arxiv.2309.17160,
title = {Redistributing the Precision and Content in 3D-LUT-based Inverse Tone-mapping for HDR/WCG Display},
author = {Cheng Guo and Leidong Fan and Qian Zhang and Hanyuan Liu and Kanglin Liu and Xiuhua Jiang},
journal= {arXiv preprint arXiv:2309.17160},
year = {2023}
}
备注
Accepted in CVMP2023 (the 20th ACM SIGGRAPH European Conference on Visual Media Production)