Task-driven Image Fusion with Learnable Fusion Loss

多模态图像融合聚合来自多个传感器源的信息，实现的视觉质量和感知特征优于单源图像，常常能提高下游任务的性能。然而，当前用于下游任务的融合方法仍使用预定义的融合目标，这些目标可能与下游任务不匹配，从而限制自适应引导并降低模型灵活性。为此，我们提出了任务驱动图像融合（TDFusion），这是一种融合框架，包含由任务损失引导的可学习融合损失。具体而言，我们的融合损失包含由神经网络模型的可学习参数组成的损失生成模块。该模块受下游任务损失的监督，以元学习方式进行训练。学习目标是最小化融合模块优化融合损失后，对融合图像的任务损失。融合模块与损失模块之间反复更新，确保融合网络演进为最小化任务损失，从而引导融合过程实现任务目标。TDFusion的训练完全依赖于下游任务损失，因而可适用于任何特定任务。它可以应用于任何融合和任务网络架构。实验在四个不同数据集上进行了融合实验，除此之外，还对语义分割和目标检测任务进行了评估。