摆脱融合规则束缚：一种全语义驱动的红外与可见光图像融合方法
计算机视觉与模式识别
2023-05-03 v1
摘要
红外与可见光图像融合在计算机视觉领域发挥着至关重要的作用。以往的方法致力于在损失函数中设计各种融合规则。然而，这些实验性设计的融合规则使得方法愈发复杂。此外，它们大多仅关注提升视觉效果，因而在后续高层视觉任务上表现不佳。为应对这些挑战，本文提出一种语义级融合网络，以充分利用语义引导，摆脱实验设计的融合规则。此外，为更好地实现对特征融合过程的语义理解，以多尺度方式提出了一种基于 Transformer 的融合模块。同时，我们设计了一种正则化损失函数及相应的训练策略，以充分利用来自高层视觉任务的语义引导。与最先进的方法相比，我们的方法不依赖于手工设计的融合损失函数，却仍在视觉质量及后续高层视觉任务上取得了优越性能。
引用
@article{arxiv.2211.12286,
title = {Breaking Free from Fusion Rule: A Fully Semantic-driven Infrared and Visible Image Fusion},
author = {Yuhui Wu and Zhu Liu and Jinyuan Liu and Xin Fan and Risheng Liu},
journal= {arXiv preprint arXiv:2211.12286},
year = {2023}
}