基于小波的网络用于高动态范围成像
图像与视频处理
2023-11-09 v3 计算机视觉与模式识别
摘要
由多张低动态范围（LDR）图像合成高动态范围（HDR）图像一直受到由场景和物体运动引起的鬼影伪影的困扰。现有方法，如基于光流和基于端到端深度学习的解决方案，在细节恢复或鬼影伪影去除方面都容易出错。全面的实证证据表明，由大前景运动引起的鬼影伪影主要是低频信号，而细节主要是高频信号。在这项工作中，我们提出了一种新颖的频率引导端到端深度神经网络（FHDRNet），在频域中进行 HDR 融合，并使用离散小波变换（DWT）将输入分解到不同的频带。低频信号用于避免特定的鬼影伪影，而高频信号用于保留细节。我们以 U-Net 为骨干网络，提出了两个新颖的模块：融合模块和频率引导上采样模块。融合模块将注意力机制应用于低频分量，以处理由大前景运动引起的鬼影。频率引导上采样模块从多个具有丰富细节的特定频率分量中重建细节。此外，我们还创建了一个新的 RAW 数据集，用于在 RAW 域中训练和评估多帧 HDR 成像算法。在公共数据集和我们的 RAW 数据集上进行的广泛实验表明，所提出的 FHDRNet 达到了最先进的性能。
引用
@article{arxiv.2108.01434,
title = {Wavelet-Based Network For High Dynamic Range Imaging},
author = {Tianhong Dai and Wei Li and Xilei Cao and Jianzhuang Liu and Xu Jia and Ales Leonardis and Youliang Yan and Shanxin Yuan},
journal= {arXiv preprint arXiv:2108.01434},
year = {2023}
}