迈向图像环境光照归一化
计算机视觉与模式识别
2024-03-28 v1
摘要
光照归一化是一项关键但尚未充分探索的图像复原任务，具有广泛的应用。然而，现有工作往往在阴影去除的背景下简化此任务，将光源限制为一个并过度简化场景，从而排除了复杂的自阴影，并将表面类别局限于平滑表面。尽管前景可期，但这种简化阻碍了向日常使用中遇到的更现实场景的泛化能力。在本文中，我们提出了一项新的具有挑战性的任务，称为环境光照归一化（ALN），该任务能够研究阴影之间的相互作用，在更广泛的背景下统一了图像复原与阴影去除。为了解决 ALN 缺乏合适数据集的问题，我们引入了大规模高分辨率数据集 Ambient6K，该数据集包含从多个光源获取的样本，并包含由复杂几何结构产生的自阴影，这是同类数据集中的首个。为了进行基准测试，我们选择了各种主流方法并在 Ambient6K 上对它们进行了严格评估。此外，我们提出了 IFBlend，这是一种新颖的强基线方法，它最大化图像-频率联合熵，以在不同光照条件下选择性地复原局部区域，而无需依赖阴影定位先验。实验表明，IFBlend 在 Ambient6K 上取得了 SOTA 分数，并且在常规阴影去除基准上，与带有掩码先验的阴影专用模型相比表现出具有竞争力的性能。数据集、基准和代码可在 https://github.com/fvasluianu97/IFBlend 获取。
引用
@article{arxiv.2403.18730,
title = {Towards Image Ambient Lighting Normalization},
author = {Florin-Alexandru Vasluianu and Tim Seizinger and Zongwei Wu and Rakesh Ranjan and Radu Timofte},
journal= {arXiv preprint arXiv:2403.18730},
year = {2024}
}