健壮融合控制器：基于细粒度语言指令的退化感知图像融合
计算机视觉与模式识别
2025-04-10 v2
摘要
当前的图像融合方法难以适应包含具有空间可变特征的多样化退化的真实环境。为此，本文提出一种健壮融合控制器（RFC），通过细粒度语言指令实现退化感知图像融合，确保其在恶劣环境中的可靠应用。具体而言，RFC 首先解析语言指令，创造性地推导功能条件和空间条件，其中前者指定要去除的退化类型，而后者定义其空间覆盖范围。随后，通过多条件耦合网络生成复合控制先验，实现从抽象语言指令到潜在控制变量的无缝转换。随后，我们设计了基于混合注意力的融合网络以整合多模态信息，其中所获得的复合控制先验被深入嵌入以线性调制中间融合特征。为确保语言指令与控制结果之间的对齐，我们引入一种新颖的语言-特征对齐损失，该损失约束特征级增益与复合控制先验之间的一致性。广泛的实验在公开数据集上表明，RFC 能鲁棒地应对各种复合退化，尤其在高度具有挑战性的晕影场景中表现突出。
引用
@article{arxiv.2504.05795,
title = {Robust Fusion Controller: Degradation-aware Image Fusion with Fine-grained Language Instructions},
author = {Hao Zhang and Yanping Zha and Qingwei Zhuang and Zhenfeng Shao and Jiayi Ma},
journal= {arXiv preprint arXiv:2504.05795},
year = {2025}
}