ReFusion：通过元学习以可学习损失从重建中学习图像融合

图像融合旨在将来自多个源图像的信息组合成具有更全面信息内容的单一图像。基于深度学习的图像融合算法面临重大挑战，包括缺乏确定性的真值以及相应的距离度量。此外，当前手动定义的损失函数限制了模型在各种融合任务中的灵活性和泛化能力。为了解决这些局限性，我们提出了ReFusion，一个统一的基于元学习的图像融合框架，该框架通过源图像重建为各种任务动态优化融合损失。与现有方法相比，ReFusion采用了一个参数化的损失函数，允许训练框架根据特定的融合场景和任务进行动态调整。ReFusion由三个关键组件组成：一个融合模块、一个源重建模块和一个损失提议模块。我们采用元学习策略，利用重建损失来训练损失提议模块。该策略迫使融合图像更有利于重建源图像，从而使损失提议模块能够生成一个自适应的融合损失，以保留来自源图像的最优信息。融合模块的更新依赖于损失提议模块提出的可学习融合损失。这三个模块交替更新，相互增强，以针对不同任务优化融合损失，并持续获得令人满意的结果。大量实验表明，ReFusion能够适应各种任务，包括红外-可见光、医学、多焦点和多曝光图像融合。