IFT：用于无重影高动态范围成像的图像融合Transformer
计算机视觉与模式识别
2023-10-10 v2
摘要
多帧高动态范围（HDR）成像旨在从内容互补但空间未对齐的低动态范围（LDR）图像中重建具有真实细节且无重影的图像。现有HDR算法容易产生重影伪影，因为其方法未能捕捉具有大幅运动的动态场景中LDR帧之间的长程依赖。为解决此问题，我们提出了一种新颖的图像融合Transformer，称为IFT，其包含一个快速全局块搜索（FGPS）模块以及一个用于无重影HDR成像的自-交叉融合模块（SCF）。FGPS从支撑帧中搜索与参考帧各块依赖关系最相近的块以进行长程依赖建模，而SCF以相对于输入分辨率的线性复杂度对FGPS所得块进行帧内与帧间特征融合。通过匹配帧间相似块，动态场景中大幅运动物体可得以对齐，从而有效缓解伪影生成。此外，所提FGPS与SCF可作为高效插件模块集成到多种深度HDR方法中。在多个基准上的大量实验表明，我们的方法在定量与定性上均达到了当前最优性能。
引用
@article{arxiv.2309.15019,
title = {IFT: Image Fusion Transformer for Ghost-free High Dynamic Range Imaging},
author = {Hailing Wang and Wei Li and Yuanyuan Xi and Jie Hu and Hanting Chen and Longyu Li and Yunhe Wang},
journal= {arXiv preprint arXiv:2309.15019},
year = {2023}
}