面向通用图像融合的任务定制适配器混合架构

通用图像融合旨在整合多源图像中的重要信息。然而，由于显著的跨任务差异，实际中各自的融合机制差异很大，导致跨子任务的性能受限。为解决此问题，我们提出了一种新颖的面向通用图像融合的任务定制适配器混合架构（TC-MoA），在统一模型中自适应地引导各种融合任务。我们借鉴了专家混合（MoE）的思想，将专家视为高效的微调适配器，用以引导预训练的基础模型。这些适配器在不同任务间共享，并受互信息正则化约束，确保对不同任务的兼容性以及对多源图像的互补性。任务特定的路由网络定制这些适配器，以动态主导强度从不同源提取任务特定信息，执行自适应视觉特征引导融合。值得注意的是，我们的TC-MoA控制了不同融合任务的主导强度偏差，成功将多种融合任务统一于单一模型中。大量实验表明，TC-MoA在学习共性的同时保持对通用图像融合（多模态、多曝光和多聚焦）的兼容性方面优于竞争方法，并在更多泛化实验上展示了显著的可控性。代码见https://github.com/YangSun22/TC-MoA。