基于空频整合的双域多重曝光图像融合网络
计算机视觉与模式识别
2023-12-19 v1
摘要
多重曝光图像融合旨在通过整合不同曝光的图像来生成单张高动态范围图像。现有的基于深度学习的多重曝光图像融合方法主要侧重于空间域融合，忽略了频域的全局建模能力。为了有效利用频域的全局光照建模能力，我们通过空频整合框架（Spatial-Frequency Integration Framework，命名为 MEF-SFI）提出了一种多重曝光图像融合的新视角。首先，我们重新审视了二维图像上傅里叶变换的性质，并验证了在频域上进行多重曝光图像融合的可行性，其中幅度和相位分量能够引导光照信息的整合。随后，我们提出了基于深度傅里叶的多重曝光图像融合框架，该框架由分别用于局部和全局建模的空间路径和频率路径组成。具体而言，我们引入了空频融合块（Spatial-Frequency Fusion Block）以促进双域之间的高效交互，并从不同曝光的输入图像中捕获互补信息。最后，我们结合了双域损失函数，以确保在空间和频域中均保留互补信息。在 PQA-MEF 数据集上的大量实验表明，与最先进的多重曝光图像融合方法相比，我们的方法取得了视觉上具有吸引力的融合结果。我们的代码可在 https://github.com/SSyangguang/MEF-freq 获取。
引用
@article{arxiv.2312.10604,
title = {A Dual Domain Multi-exposure Image Fusion Network based on the Spatial-Frequency Integration},
author = {Guang Yang and Jie Li and Xinbo Gao},
journal= {arXiv preprint arXiv:2312.10604},
year = {2023}
}