通过通用成像流水线重构与多光源恢复改进镜头光晕去除
图像与视频处理
2023-09-01 v1 计算机视觉与模式识别
摘要
在强光源下拍摄图像时，所得图像常包含异质光晕伪影。这些伪影会显著影响图像视觉质量及下游计算机视觉任务。虽然收集光晕污染/无光晕图像的真实数据对以训练光晕去除模型颇具挑战，现有方法采用直接叠加方式合成数据。然而，这些方法未考虑图像信号处理流水线(ISP)中的自动曝光与色调映射，导致基于此类数据训练的深度模型泛化能力有限。此外，由于不同光源的尺寸、形状与照度各异，现有方法难以处理多光源情形。本文通过重新审视ISP并重构合成流水线中的自动曝光原理，设计更可靠的光源恢复策略，提出一种提升镜头光晕去除性能的解决方案。新流水线通过凸组合区分局部与全局光照，逼近真实成像，避免全局光照偏移与局部过饱和。我们的多光源恢复策略基于照度水平对神经网络的输入与输出进行凸平均，从而无需在识别光源时使用硬阈值。我们还贡献了一个包含十类消费电子产品所摄光晕污染图像的新光晕去除测试数据集，便于验证光晕去除方法的泛化能力。大量实验表明，该方案能有效提升镜头光晕去除性能，并将研究前沿推向更通用的场景。
引用
@article{arxiv.2308.16460,
title = {Improving Lens Flare Removal with General Purpose Pipeline and Multiple Light Sources Recovery},
author = {Yuyan Zhou and Dong Liang and Songcan Chen and Sheng-Jun Huang and Shuo Yang and Chongyi Li},
journal= {arXiv preprint arXiv:2308.16460},
year = {2023}
}
备注
ICCV 2023