MultiTaskVIF：基于多任务学习的分段导向可见红外图像融合
计算机视觉与模式识别
2025-05-13 v1
摘要
可见红外图像融合(VIF)近年来受到广泛关注。传统VIF方法主要关注生成高视觉质量的融合图像，而近期的研究进步日益强调在训练过程中将语义信息融入模型。然而，大多数现有的分段导向VIF方法采用由独立融合模型和分段模型组成的级联结构，导致网络复杂度和冗余性增加。这引发一个关键问题：我们能否设计一种更简洁且高效的结构，在训练过程中直接将语义信息集成到融合模型中——以多任务学习为灵感，本文提出一种简洁且通用的训练框架MultiTaskVIF，用于分段导向VIF模型。在该框架中，我们引入多任务头解码器(MTH)，在训练过程中同时输出融合图像和分段结果。不同于以往需要级联训练框架中联合训练完整分段模型的做法，MultiTaskVIF能够通过仅替换解码器为MTH，使融合模型学习语义特征。大量实验评估验证了所提方法的有效性。我们的代码将在论文接受后公开。
引用
@article{arxiv.2505.06665,
title = {MultiTaskVIF: Segmentation-oriented visible and infrared image fusion via multi-task learning},
author = {Zixian Zhao and Andrew Howes and Xingchen Zhang},
journal= {arXiv preprint arXiv:2505.06665},
year = {2025}
}