用于联合多模态图像融合及更广泛应用的两层动态学习

近来，多模态场景感知任务，例如图像融合与场景理解，已引起智能视觉系统的广泛关注。然而，早期工作总是单方面考虑提升单一任务而忽视其他任务，极少探究其内在联系以实现联合促进。为克服这些局限，我们构建了层次化双任务驱动的深层模型以桥接这些任务。具体而言，我们首先构造一个图像融合模块以融合互补特征，并级联双任务相关模块，包括用于视觉效果的判别器与用于特征度量的语义网络。我们提供两层视角来表述图像融合及后续下游任务。为将不同的任务相关响应纳入图像融合，我们将图像融合视为主目标，并将双模块视为可学习约束。此外，我们开发了高效的一阶近似来计算相应梯度，并提出动态加权聚合以平衡融合学习的梯度。大量实验证明了我们方法的优越性，其不仅产生视觉愉悦的融合结果，还相较最先进方法在检测与分割上实现了显著提升。