TransMEF：一种基于 Transformer 并利用自监督多任务学习的多曝光图像融合框架
计算机视觉与模式识别
2021-12-16 v3
摘要
本文提出 TransMEF，一种基于 transformer 并利用自监督多任务学习的多曝光图像融合框架。该框架基于编码器-解码器网络，可在大型自然图像数据集上训练，且不需要真实融合图像。我们根据多曝光图像的特点设计了三种自监督重建任务，并利用多任务学习同时执行这些任务；通过此过程，网络能够学习多曝光图像的特征并提取更具泛化性的特征。此外，为弥补基于 CNN 的架构在建立长程依赖上的缺陷，我们设计了一个将 CNN 模块与 transformer 模块相结合的编码器。这种组合使网络能够同时关注局部与全局信息。我们在最新发布的多曝光图像融合基准数据集上将所提方法与 11 种具有竞争力的传统及基于深度学习的方法进行了评估与比较，所提方法在主观与客观评价中均取得最佳性能。
引用
@article{arxiv.2112.01030,
title = {TransMEF: A Transformer-Based Multi-Exposure Image Fusion Framework using Self-Supervised Multi-Task Learning},
author = {Linhao Qu and Shaolei Liu and Manning Wang and Zhijian Song},
journal= {arXiv preprint arXiv:2112.01030},
year = {2021}
}
备注
Accepted by the Thirty-Sixth AAAI Conference on Artificial Intelligence (AAAI2022)