面向高质量 HDR 去重影的条件扩散模型
计算机视觉与模式识别
2023-11-03 v1 图像与视频处理
摘要
现有深度神经网络（DNNs）技术可从多张低动态范围（LDR）图像恢复高动态范围（HDR）图像。尽管取得了显著进展，基于 DNN 的方法在 LDR 图像存在饱和与大幅运动时仍会产生重影伪影，阻碍了在真实场景中的潜在应用。为应对这一挑战，我们将 HDR 去重影问题表述为一种图像生成，利用 LDR 特征作为扩散模型的条件，由特征条件生成器与噪声预测器组成。特征条件生成器采用注意力与域特征对齐（DFA）层来变换中间特征以避免重影伪影。以学习到的特征为条件，噪声预测器利用扩散模型的随机迭代去噪过程，通过引导采样过程生成 HDR 图像。此外，为缓解 LDR 图像饱和问题引起的语义混淆，我们设计了一种滑动窗口噪声估计器，以基于块的方式采样平滑噪声。同时，提出一种图像空间损失以避免估计 HDR 结果的颜色失真。我们在 HDR 成像的基准数据集上对所提模型进行了实证评估。结果表明，我们的方法取得了最先进的性能，并对真实世界图像具有良好泛化能力。
引用
@article{arxiv.2311.00932,
title = {Towards High-quality HDR Deghosting with Conditional Diffusion Models},
author = {Qingsen Yan and Tao Hu and Yuan Sun and Hao Tang and Yu Zhu and Wei Dong and Luc Van Gool and Yanning Zhang},
journal= {arXiv preprint arXiv:2311.00932},
year = {2023}
}
备注
accepted by IEEE TCSVT