一种任务引导、隐式搜索与元初始化的图像融合深度模型

图像融合在多种基于多传感器的视觉系统中起着关键作用，尤其用于增强视觉质量和/或提取聚合特征以用于感知。然而，大多数现有方法仅将图像融合视为独立任务，从而忽略了其与这些下游视觉问题的潜在关联。此外，设计恰当的融合架构常需大量工程人力，且缺乏提升当前融合方法灵活性与泛化能力的机制。为缓解这些问题，我们建立了一种任务引导、隐式搜索与元初始化（TIM）深度模型，以应对具有挑战性的真实场景中的图像融合问题。具体而言，我们首先提出一种约束策略，将下游任务的信息引入以引导图像融合的无监督学习过程。在此框架内，我们进而设计一种隐式搜索方案，高效自动地为我们的融合模型发现紧凑架构。此外，引入一种预文本元初始化技术，利用差异化融合数据支持针对不同种类图像融合任务的快速适配。在不同类别图像融合问题及相关下游任务（如视觉增强与语义理解）上的定性与定量实验结果证实了我们的 TIM 的灵活性与有效性。源代码将发布于 https://github.com/LiuZhu-CV/TIMFusion。